ContinualAI/avalanche

remove benchmarks `reproducibility_data`

Open

#1273 aperta il 9 gen 2023

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Python (258 fork)batch import
Benchmarksgood first issue

Metriche repository

Star
 (1516 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

reproducibility_data is an old serialization mechanism. With the current state of benchmarks it is easier and more efficient to save the benchmark arguments and fix a random seed to guarantee reproducibility (this is not guaranteed to work for different avalanche versions). Alternatively, it is possible to use serialization.

Therefore, we should remove reproducibility_data and and encourage other reproducibility solutions.

Guida contributor

Direzione di ricerca
Identifica tutte le occorrenze di `reproducibility data` nel codebase e sostituiscile con seed casuali fissi o approcci di serializzazione.
Tech stack
python
Dominio
machine learningai
Tipo issue
Refactoring
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Python
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65