[Guiding Goal]
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Necesita aclaración
- Estado de actividad
- Tranquilo
- Stack tecnológico
- python
- Área
- ai, machine-learning
Línea de trabajo
Comienza con la implementación enlazada en minimal/agent_func_complete.py y, después, revisa los issues #1 y #5 para consultar los modelos y benchmarks disponibles. La fase se completa cuando las tablas de evaluación de Pure y entrenamiento de RL contienen resultados de modelo, benchmark y rendimiento bajo las restricciones indicadas de rollout, verification y simple-RL.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
The goal of this phase of the project is to fill in the two tables below. Note the goal doesn't include building a central framework for evals or training, performance tuning, scaling beyond a reasonable amount.
Pure evaluation:
| Model | Benchmark | Performance |
| ... | ... | ... |
| ... | ... | ... |
RL training:
| Model | Benchmark | Performance |
| ... | ... | ... |
| ... | ... | ... |
where choices are listed (and can be appended to) here:
Some other constraints for the first phase:
- Multi-step, single-submission rollouts. See implementation.
- Verification hierarchy fixed: AST syntax checking -> Linter -> Type Checker -> Benchmark provided tests
- Simple RL algorithm e.g. GRPO.
In the second stage, we'll discuss the results from this phase and explore at least three branches. For now, hold off on these.
- RL approaches e.g. DAgger like approaches, RLIF, PPO vs GRPO, potentially custom developments.
- Performance tuning: container startup times (and the splitting of verifiers across containers), scaling bottlenecks, custom GPU kernels or handwritten-optimized backward passes (unsloth).
- Richer static analysis (control flow, data flow), dynamic tracing etc. to augment context.
- Lenguaje dominante
- Python
- Estrellas
- 1
- Forks
- 4
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de redhat-et/code-agent
-
Add Multi-Pass Implementation for SWE-Bench EvalQuizá libre de nuevo @ilya-kolchinsky la tomó hace 149 días y no hay ningún pull request abierto. Abierto
redhat-et/code-agent#25 · 1 asignado ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100
redhat-et/code-agent#22 ·
-
Create baseline evaluation pipeline using the HumanEval benchmarkQuizá libre de nuevo @lmzuccarelli la tomó hace 180 días y no hay ningún pull request abierto. Abiertowip
redhat-et/code-agent#15 · 1 asignado ·
-
Create baseline evaluation pipeline of the ODEX dataset on Devstral Small 2Quizá libre de nuevo @ilya-kolchinsky la tomó hace 182 días y no hay ningún pull request abierto. Abierto
redhat-et/code-agent#13 · 1 asignado ·
-
SkyPilotQuizá libre de nuevo @MichaelClifford la tomó hace 149 días y no hay ningún pull request abierto. Abierto
redhat-et/code-agent#11 · 1 asignado ·
Todos los issues de redhat-et/code-agent
Issues similares
-
documentation pkg: sphinx-needs
Dificultad 1/5 Menos de una hora Aptitud para principiantes 82/100
useblocks/sphinx-needs#2255 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 60/100
home-assistant/core#186538 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
btclib-org/btclib-secp256k1#1181 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
pyrite-wiki/pyrite#917 ·
Los mantenedores suelen responder en 1 día