facebookresearch/fairscale

[chore] Cache wikitext2 dataset used for benchmarks/pipe.py to prevent throttling errors

Offen

#743 geöffnet am 19.07.2021

Auf GitHub ansehenContributor Guide
 (3 Kommentare) (0 Reaktionen) (1 zugewiesene Person)Python (297 Forks)auto 404
good first issue

Repository-Metriken

Stars
 (3.411 Sterne)
PR-Merge-Metriken
 (Keine gemergten PRs in 30 T)

Beschreibung

Chore

We should cache the dataset used for running fairscale/benchmarks/pipe.py so that we don't end up downloading this at every run. This has been done for OSS and we should do something similar for pipe.py. This is important because during periods of high PR checkins/development we could run into throttling errors if there are too many CircleCI jobs. That is something that possibly happened for OSS which is when we added the caching logic.

Contributor Guide

Research-Richtung
Untersuchen Sie die Caching Logik aus dem OSS PR (https://github.com/facebookresearch/fairscale/pull/465) und wenden Sie einen ähnlichen Caching Mechanismus auf den wikitext2 Datensatz in benchmarks/pipe.py an. Stellen Sie sicher, dass der Datensatz an einem dauerhaften Ort heruntergeladen und zwischengespeichert wird, um ein erneutes Herunterladen bei jedem CircleCI Durchlauf zu vermeiden.
Tech Stack
python
Domain
devopsbuild system
Issue Type
Wartung
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
Python
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
60