Eval judge fails outputs that pass every listed condition
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 35/100
Línea de trabajo
Start with the case files under evals/cases/, especially developer-profile--1-normal (case-criteria) and launch-announcement--3-adversarial, and read evals/README.md for how the judge is described. Run claude plugin eval on developer-profile--1-normal and compare what the judge receives (last_message versus the full answer, plus the prompt framing) with a direct grading request. Done means either the criteria are corrected so the judge's verdicts match, or the limitation is documented in evals/README.md.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
developer-profile--1-normal fails case-criteria consistently (4/4 runs), but asking Sonnet directly to grade the same output against the same criteria returns PASS on every condition. launch-announcement--3-adversarial (honesty grader) may be similar.
Help wanted: figure out what the claude plugin eval LLM judge sees differently (e.g. last_message vs the full answer, prompt framing), and either fix the criteria in evals/cases/ or document the limitation in evals/README.md.
- Lenguaje dominante
- Python
- Estrellas
- 0
- Forks
- 1
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de devanathsugavasi/devreach
-
help wanted tooling
Dificultad 2/5 Medio día Aptitud para principiantes 70/100
devanathsugavasi/devreach#10 ·
-
evals good first issue
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
-
documentation good first issue
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
-
evals help wanted
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
-
bug evals good first issue
Dificultad 1/5 Menos de una hora Aptitud para principiantes 82/100
Todos los issues de devanathsugavasi/devreach
Issues similares
-
type-bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 1 día
-
push_gh-pages fails on master branch on forksPosiblemente ocupada Un pull request vinculado a esta issue está abierto o ya se fusionó. Abiertogood first issue infrastructure
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
kuznia-rdzeni/coreblocks#1135 ·
-
good first issue server
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
Los mantenedores suelen responder en 1 día
-
documentation priority: high
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
a-lex-s/mealie-telegram-bot#54 ·
Los mantenedores suelen responder en 1 día