facebookresearch/fairscale

[chore] Cache wikitext2 dataset used for benchmarks/pipe.py to prevent throttling errors

Aperta

#743 aperta il 19 lug 2021

Vedi su GitHubGuida contributor
 (3 commenti) (0 reazioni) (1 assegnatario)Python (297 fork)auto 404
good first issue

Metriche repository

Star
 (3411 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Chore

We should cache the dataset used for running fairscale/benchmarks/pipe.py so that we don't end up downloading this at every run. This has been done for OSS and we should do something similar for pipe.py. This is important because during periods of high PR checkins/development we could run into throttling errors if there are too many CircleCI jobs. That is something that possibly happened for OSS which is when we added the caching logic.

Guida contributor

Direzione di ricerca
Esaminare la logica di caching della PR OSS (https://github.com/facebookresearch/fairscale/pull/465) e applicare un meccanismo di caching simile al dataset wikitext2 in benchmarks/pipe.py. Assicurarsi che il dataset sia scaricato e memorizzato in una posizione persistente per evitare di scaricarlo nuovamente a ogni esecuzione di CircleCI.
Tech stack
python
Dominio
devopsbuild system
Tipo issue
Manutenzione
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Python
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60