facebookresearch/fairscale

[chore] Cache wikitext2 dataset used for benchmarks/pipe.py to prevent throttling errors

Aberta

#743 aberto em 19 de jul. de 2021

Ver no GitHubGuia do colaborador
 (3 comentários) (0 reação) (1 responsável)Python (297 forks)auto 404
good first issue

Métricas do repositório

Stars
 (3.411 estrelas)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

Chore

We should cache the dataset used for running fairscale/benchmarks/pipe.py so that we don't end up downloading this at every run. This has been done for OSS and we should do something similar for pipe.py. This is important because during periods of high PR checkins/development we could run into throttling errors if there are too many CircleCI jobs. That is something that possibly happened for OSS which is when we added the caching logic.

Guia do colaborador

Direção de pesquisa
Examine a lógica de cache do PR OSS (https://github.com/facebookresearch/fairscale/pull/465) e aplique um mecanismo de cache semelhante ao dataset wikitext2 em benchmarks/pipe.py. Certifique se de que o dataset seja baixado e armazenado em cache em um local persistente para evitar download repetido em cada execução do CircleCI.
Pilha de tecnologia
python
Domain
devopsbuild system
Tipo Issue
Manutenção
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Python
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
60