Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

Run the suite 3× with a baseline arm: does DevReach beat plain Claude?

Abierto
  • ¿Algo no está bien?
#5 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
2/5
Tiempo estimado
1-3 horas
Aptitud para principiantes
45/100
Tipo de issue
Documentación
Claridad
Bien especificado
Estado de actividad
Activo
Stack tecnológico
python, shell
Área
ai-infra-agents, testing

Línea de trabajo

The issue gives a concrete command: claude plugin eval . --scaffold --runs 3 --judge-model sonnet -j 6. Run that, then python3 scripts/eval_summary.py. The summary output should be posted on the issue and added to evals/RESULTS.md. Done when the with/without comparison is recorded there.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

evals help wanted

Recorded runs so far use --ablation none and one run per case. We don't yet know how much the skills help compared to Claude with no plugin.

claude plugin eval . --scaffold --runs 3 --judge-model sonnet -j 6
python3 scripts/eval_summary.py

(This runs a with/without comparison; expect roughly $40–60 of usage.)

Post the summary here and add it to evals/RESULTS.md.

Lenguaje dominante
Python
Estrellas
0
Forks
1
Merge medio
4 h 10 min
PR fusionados (30 d)
1

Preparar el entorno

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de devanathsugavasi/devreach

Todos los issues de devanathsugavasi/devreach

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.