ContinualAI/avalanche

remove benchmarks `reproducibility_data`

Open

#1.273 geöffnet am 9. Jan. 2023

Auf GitHub ansehen
 (0 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (258 Forks)batch import
Benchmarksgood first issue

Repository-Metriken

Stars
 (1.516 Stars)
PR-Merge-Metriken
 (Keine gemergten PRs in 30 T)

Beschreibung

reproducibility_data is an old serialization mechanism. With the current state of benchmarks it is easier and more efficient to save the benchmark arguments and fix a random seed to guarantee reproducibility (this is not guaranteed to work for different avalanche versions). Alternatively, it is possible to use serialization.

Therefore, we should remove reproducibility_data and and encourage other reproducibility solutions.

Contributor Guide

Research-Richtung
Identifizieren Sie alle Vorkommen von `reproducibility data` im Codebase und ersetzen Sie diese durch feste Zufalls Seeds oder Serialisierungsansätze.
Tech Stack
python
Domain
machine learningai
Issue Type
Refactoring
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
Python
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
65