Problems in reproducing the RL fine-tuned results
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Error
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Área
- machine-learning
Línea de trabajo
Start by reviewing generate.py and the train_actor.sh, generate_critic_scores.sh, and train_actor_rl.sh workflow described in the issue. Reproduce the reported 0.84 pass@5 result, then trace the inputs and default settings across the RL fine-tuning stage; done means documenting a verified configuration or a clearly isolated cause of the mismatch.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Hi, thanks for open-sourcing your amazing work!
I have been trying to reproduce the RL fine-tuned results reported in the paper, but unfortunately, I am encountering some issues. Here is a brief overview of the steps I followed:
-
Fine-tuned the actor model with CE loss for 10 epochs with
train_actor.shand the CodeT5-NTP model. This fine-tuned model gives similar results to the paper (2.86 pass@5 compared to 2.90 in the paper) -
With some modifications to
generate.py, generated 20 candidate samples per problem (following the sample files given in the repo) and greedy baseline codes for the training set with the CE fine-tuned model. Theresultkey required for the correspondinggen_solutions.jsonandbaseline_solutions.jsonwas generated with this snippet. -
Generated the token level hidden states/critic scores with the released critic model through
generate_critic_scores.sh. -
RL-finetuning with the default hyperparameters present in
train_actor_rl.sh, the RL-finetuned model gives very degraded results. (0.84 pass@5)
I would greatly appreciate any suggestions you may have on hyperparameter choices or other settings that could help me reproduce the RL-finetuned results accurately.
Many thanks!
- Lenguaje dominante
- Python
- Estrellas
- 576
- Forks
- 69
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Aún no hemos revisado los archivos de configuración de este proyecto. Empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de salesforce/CodeRL
-
Dificultad 4/5 3-5 días Aptitud para principiantes 10/100
salesforce/CodeRL#65 ·
-
CodeRL模型谷歌云盘访问遭拒Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 10/100
salesforce/CodeRL#64 ·
-
Models - Access DeniedAbierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 10/100
salesforce/CodeRL#63 ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 32/100
salesforce/CodeRL#61 · 3 comentarios ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 20/100
salesforce/CodeRL#60 ·
Todos los issues de salesforce/CodeRL
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
-
bug
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
qgis/QGIS-Plugins-Website#459 ·
-
bug severity:medium
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 2 días
-
bot-found bug priority: P3
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
madenvel/KalinkaPlayer#179 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
ls1intum/edutelligence#1098 ·
Los mantenedores suelen responder en 1 día