diff_results.py does not show how the per-combination timings changed between two result sets
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 2/5
- Tiempo estimado
- 1-3 horas
- Aptitud para principiantes
- 78/100
Línea de trabajo
Empieza por scripts/diff_results.py y su función provenance_report; después, inspecciona las entradas de tiempos en results/PROVENANCE.json y las pruebas existentes. Compara dos archivos de procedencia pequeños y muestra las cinco combinaciones con los mayores cambios de tiempo y el total; informa no timings recorded si en uno de los lados no hay tiempos registrados. La tarea estará terminada cuando una prueba con dos archivos pequeños PROVENANCE.json cubra este comportamiento.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Where: scripts/diff_results.py (provenance_report), results/PROVENANCE.json.
Current gap: faircode benchmark now records the seconds each strategy/model combination took (#1329) in the run's provenance entry, and diff_results.py prints both sides' provenance and library versions, but ignores the timings, so a slowdown after a dependency bump (the case the rerun-benchmark label exists for) still has to be found by reading two JSON files.
Suggested approach: When both sides have timings, print the five combinations whose seconds changed most (and the total) in the provenance block; say no timings recorded when a side has none.
Done when: the provenance report shows the largest timing changes between two saved result sets, covered by a test with two small PROVENANCE.json files.
- Lenguaje dominante
- HTML
- Estrellas
- 47
- Forks
- 45
- Merge medio
- 2 h 39 min
- PR fusionados (30 d)
- 57
Preparar el entorno
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de yakew7/Fair-Code
-
enhancement good first issue tooling
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
Los mantenedores suelen responder en 1 día
-
ci enhancement testing
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
Los mantenedores suelen responder en 1 día
-
enhancement good first issue reproducibility
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
Los mantenedores suelen responder en 1 día
-
community documentation good first issue
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
Los mantenedores suelen responder en 1 día
-
enhancement good first issue testing
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
Los mantenedores suelen responder en 1 día
Todos los issues de yakew7/Fair-Code
Issues similares
-
Add a Report a bug buttonAbiertoenhancement
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
ReduxISU/Redux_Frontend#325 ·
Los mantenedores suelen responder en 4 días
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
416rehman/Guardrails#1714 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
dginev/latexml-oxide#943 ·
Los mantenedores suelen responder en 1 día
-
help wanted platform/macos
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
griffinwork40/agent-afk#5178 ·
Los mantenedores suelen responder en 1 día