facebookresearch/fairscale

[chore] Cache wikitext2 dataset used for benchmarks/pipe.py to prevent throttling errors

Ouverte

#743 ouverte le 19 juil. 2021

Voir sur GitHubGuide contributeur
 (3 commentaires) (0 réaction) (1 personne assignée)Python (297 forks)auto 404
good first issue

Métriques du dépôt

Stars
 (3 411 étoiles)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

Chore

We should cache the dataset used for running fairscale/benchmarks/pipe.py so that we don't end up downloading this at every run. This has been done for OSS and we should do something similar for pipe.py. This is important because during periods of high PR checkins/development we could run into throttling errors if there are too many CircleCI jobs. That is something that possibly happened for OSS which is when we added the caching logic.

Guide contributeur

Direction de recherche
Examinez la logique de mise en cache du PR OSS (https://github.com/facebookresearch/fairscale/pull/465) et appliquez un mécanisme de mise en cache similaire au jeu de données wikitext2 dans benchmarks/pipe.py. Assurez vous que le jeu de données est téléchargé et mis en cache dans un emplacement persistant pour éviter de le télécharger à nouveau à chaque exécution CircleCI.
Stack technique
python
Domaine
devopsbuild system
Type d'issue
Maintenance
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
Python
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60