Problems in reproducing the RL fine-tuned results
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 25/100
- Tipo di issue
- Bug
- Chiarezza
- Da chiarire
- Stato di attività
- Ferma
- Ambito
- machine-learning
Direzione di ricerca
Start by reviewing generate.py and the train_actor.sh, generate_critic_scores.sh, and train_actor_rl.sh workflow described in the issue. Reproduce the reported 0.84 pass@5 result, then trace the inputs and default settings across the RL fine-tuning stage; done means documenting a verified configuration or a clearly isolated cause of the mismatch.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Hi, thanks for open-sourcing your amazing work!
I have been trying to reproduce the RL fine-tuned results reported in the paper, but unfortunately, I am encountering some issues. Here is a brief overview of the steps I followed:
-
Fine-tuned the actor model with CE loss for 10 epochs with
train_actor.shand the CodeT5-NTP model. This fine-tuned model gives similar results to the paper (2.86 pass@5 compared to 2.90 in the paper) -
With some modifications to
generate.py, generated 20 candidate samples per problem (following the sample files given in the repo) and greedy baseline codes for the training set with the CE fine-tuned model. Theresultkey required for the correspondinggen_solutions.jsonandbaseline_solutions.jsonwas generated with this snippet. -
Generated the token level hidden states/critic scores with the released critic model through
generate_critic_scores.sh. -
RL-finetuning with the default hyperparameters present in
train_actor_rl.sh, the RL-finetuned model gives very degraded results. (0.84 pass@5)
I would greatly appreciate any suggestions you may have on hyperparameter choices or other settings that could help me reproduce the RL-finetuned results accurately.
Many thanks!
- Lingua principale
- Python
- Stelle
- 576
- Fork
- 69
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
Non abbiamo ancora controllato i file di configurazione di questo progetto. Parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di salesforce/CodeRL
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 10/100
salesforce/CodeRL#65 ·
-
CodeRL模型谷歌云盘访问遭拒Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 10/100
salesforce/CodeRL#64 ·
-
Models - Access DeniedAperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 10/100
salesforce/CodeRL#63 ·
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 32/100
salesforce/CodeRL#61 · 3 commenti ·
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 20/100
salesforce/CodeRL#60 ·
Tutte le issue di salesforce/CodeRL
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
solana-foundation/pay-kit#341 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
nasa/python_cmr#123 ·
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 92/100
EleutherAI/lm-evaluation-harness#4243 ·
I maintainer di solito rispondono entro 1 giorno
-
area: dashboard bug perceived difficulty: 3
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
Nitjsefnie-Harness-Commons/daedalus#1179 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
cusp-ai-oss/tojax#17 ·