diff_results.py does not show how the per-combination timings changed between two result sets

Aperta Adatta ai principianti
#1,334 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
2/5
Tempo stimato
1-3 ore
Idoneità per principianti
78/100
Tipo di issue
Funzionalità
Chiarezza
Specificata chiaramente
Stato di attività
Attiva
Stack tecnologico
json, python
Ambito
tooling

Direzione di ricerca

Inizia da scripts/diff_results.py e dalla sua funzione provenance_report, poi esamina le voci dei tempi in results/PROVENANCE.json e i test esistenti. Confronta due piccoli file di provenienza e mostra le cinque combinazioni con le variazioni di tempo più ampie e il totale; indica no timings recorded se uno dei due lati non contiene tempi. Il lavoro è completato quando il comportamento è coperto da un test che usa due piccoli file PROVENANCE.json.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

enhancement reproducibility tooling

Where: scripts/diff_results.py (provenance_report), results/PROVENANCE.json.

Current gap: faircode benchmark now records the seconds each strategy/model combination took (#1329) in the run's provenance entry, and diff_results.py prints both sides' provenance and library versions, but ignores the timings, so a slowdown after a dependency bump (the case the rerun-benchmark label exists for) still has to be found by reading two JSON files.

Suggested approach: When both sides have timings, print the five combinations whose seconds changed most (and the total) in the provenance block; say no timings recorded when a side has none.

Done when: the provenance report shows the largest timing changes between two saved result sets, covered by a test with two small PROVENANCE.json files.

Lingua principale
HTML
Stelle
47
Fork
45
Merge medio
2h 39m
PR unite (30g)
57

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di yakew7/Fair-Code

Tutte le issue di yakew7/Fair-Code

Issue simili

Altre issue su DevTools

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.