How to generate Critic Scores that can mimic a reward model
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 20/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- python
- Área
- ai, machine-learning
Línea de trabajo
Start by reading the CodeRL repository and the associated CodeRL paper to understand how critic models currently classify solutions and how reward models are used. The issue does not name an entry point, file, or test; done would require a documented approach or implementation for generating critic scores that can mimic a reward model.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Hello, hope all is well,
Wanted to ask how to generate critic scores for a solution of a code problem, is there a way instead of just classifying them using the critic model?
- Lenguaje dominante
- Python
- Estrellas
- 576
- Forks
- 69
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de salesforce/CodeRL
-
Dificultad 4/5 3-5 días Aptitud para principiantes 10/100
salesforce/CodeRL#65 ·
-
CodeRL模型谷歌云盘访问遭拒 Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 10/100
salesforce/CodeRL#64 ·
-
Models - Access Denied Abierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 10/100
salesforce/CodeRL#63 ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 32/100
salesforce/CodeRL#61 · 3 comentarios ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 20/100
salesforce/CodeRL#60 ·
Todos los issues de salesforce/CodeRL
Issues similares
-
agent-ready documentation needs-triage
Dificultad 1/5 1-3 horas Aptitud para principiantes 88/100
-
documentation
Dificultad 1/5 Menos de una hora Aptitud para principiantes 91/100
-
workflow-status page template still says reusable workflows are "triggered only by workflow_call:" Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 92/100
-
Add https://search.jeremyh.xyz/ Abiertoinstance instance add
Dificultad 1/5 Menos de una hora Aptitud para principiantes 72/100
searxng/searx-instances#939 · 1 comentario ·
-
area-deployment area-integrations triage:bot-seen
Dificultad 2/5 Medio día Aptitud para principiantes 86/100