aggregate_benchmark: statistical verdicts (CI / significance) on config deltas
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 38/100
Línea de trabajo
Start by reading aggregate_benchmark.py and the referenced eval-metrics bug to understand the current record format and how variant and baseline results are aggregated. Compare suitable statistical methods, then define how confidence intervals, verdicts, and suggested run counts should be reported. Done means valid records produce the requested fields and only records with status == ok are included.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Describe your idea
Extend aggregate_benchmark.py so each metric delta comes with a confidence interval and a verdict: better, worse or noise.
Why is this needed?
The variant and baseline modes exist to answer "did this change help?". A mean delta with two stddevs leaves that judgement to the model or the user, and with the default --runs 1–3 most deltas are noise.
How should it work?
- Bootstrap 95% CI on the difference of means (stdlib only, seeded), or Mann–Whitney U when n ≥ 5 per side.
- Report
n,delta,ci_low,ci_high,verdict, and a suggestedrunsneeded to resolve noise at the observed variance. - Only
status == okrecords count (see the eval-metrics bug).
PR
Happy to help implement this if the direction is agreed.
- Lenguaje dominante
- Python
- Estrellas
- 220
- Forks
- 54
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de bmad-code-org/bmad-builder
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
bmad-code-org/bmad-builder#157 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
bmad-code-org/bmad-builder#153 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
bmad-code-org/bmad-builder#151 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 77/100
bmad-code-org/bmad-builder#127 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
bmad-code-org/bmad-builder#123 ·
Todos los issues de bmad-code-org/bmad-builder
Issues similares
-
Claiming namespace `kliklamala`Abiertonamespace
Dificultad 1/5 Menos de una hora Aptitud para principiantes 68/100
EclipseFdn/open-vsx.org#15604 ·
Los mantenedores suelen responder en 1 día
-
app: scripts severity: low status: backlog type: bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
netbox-community/netbox-scripts#164 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
Los mantenedores suelen responder en 5 días
-
Public function to read participants.tsvPosiblemente ocupada @bruAristimunha la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 1 día
-
Dificultad 1/5 1-3 horas Aptitud para principiantes 85/100
huggingface/tau#799 ·
Los mantenedores suelen responder en 2 días