Reproducible learning runs
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 25/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Ferma
- Stack tecnologico
- python
- Ambito
- machine-learning
Direzione di ricerca
Read the RuleChef implementation and locate rule and feedback ID generation, audit and critic prompt construction, and all LLM call entry points. Check pull request #57 for the work already in progress. Done means IDs derive from a hash of name and content, and an optional seed defaults to None and is passed to every LLM call.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Problem
Same data and settings can give different rules across runs, even at temperature 0.
- Rule IDs are random (uuid4) and appear in audit/critic prompts so prompts may differ btw runs
- No way to pass a sampling seed to the LLM
Proposed solution
- Generate rule/feedback IDs from a hash of name + content
- Add an optional
seedto RuleChef, sent with all LLM calls (defaults to None)
- Lingua principale
- Python
- Stelle
- 34
- Fork
- 9
- Merge medio
- 9g 13h
- PR unite (30g)
- 1
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di KRLabsOrg/rulechef
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 52/100
-
Add option to interleave patch failures by entity textForse già presa @nadiaverdha l’ha presa 12 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 20/100
-
research
Difficoltà 5/5 Più di una settimana Idoneità per principianti 32/100
-
research
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
-
research
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
Tutte le issue di KRLabsOrg/rulechef
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
django-cms/djangocms-frontend#413 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
NanmiCoder/MediaCrawler#1004 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
facebookresearch/xformers#1417 ·
-
question
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 68/100
vllm-project/vime#524 ·
I maintainer di solito rispondono entro 7 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 73/100
FinanceFlash/unvibecode#675 ·
I maintainer di solito rispondono entro 1 giorno