diff_results.py does not show how the per-combination timings changed between two result sets
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 2/5
- Tempo stimato
- 1-3 ore
- Idoneità per principianti
- 78/100
Direzione di ricerca
Inizia da scripts/diff_results.py e dalla sua funzione provenance_report, poi esamina le voci dei tempi in results/PROVENANCE.json e i test esistenti. Confronta due piccoli file di provenienza e mostra le cinque combinazioni con le variazioni di tempo più ampie e il totale; indica no timings recorded se uno dei due lati non contiene tempi. Il lavoro è completato quando il comportamento è coperto da un test che usa due piccoli file PROVENANCE.json.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Where: scripts/diff_results.py (provenance_report), results/PROVENANCE.json.
Current gap: faircode benchmark now records the seconds each strategy/model combination took (#1329) in the run's provenance entry, and diff_results.py prints both sides' provenance and library versions, but ignores the timings, so a slowdown after a dependency bump (the case the rerun-benchmark label exists for) still has to be found by reading two JSON files.
Suggested approach: When both sides have timings, print the five combinations whose seconds changed most (and the total) in the provenance block; say no timings recorded when a side has none.
Done when: the provenance report shows the largest timing changes between two saved result sets, covered by a test with two small PROVENANCE.json files.
- Lingua principale
- HTML
- Stelle
- 47
- Fork
- 45
- Merge medio
- 2h 39m
- PR unite (30g)
- 57
Preparare l'ambiente
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di yakew7/Fair-Code
-
enhancement good first issue tooling
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
I maintainer di solito rispondono entro 1 giorno
-
ci enhancement testing
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
I maintainer di solito rispondono entro 1 giorno
-
enhancement good first issue reproducibility
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
I maintainer di solito rispondono entro 1 giorno
-
community documentation good first issue
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
I maintainer di solito rispondono entro 1 giorno
-
enhancement good first issue testing
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di yakew7/Fair-Code
Issue simili
-
Add a Report a bug buttonApertaenhancement
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
ReduxISU/Redux_Frontend#325 ·
I maintainer di solito rispondono entro 4 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
416rehman/Guardrails#1714 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
dginev/latexml-oxide#943 ·
I maintainer di solito rispondono entro 1 giorno
-
help wanted platform/macos
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
griffinwork40/agent-afk#5178 ·
I maintainer di solito rispondono entro 1 giorno