facebookresearch/fairseq

Use symbolic link for saving best/last checkpoints

Open

#5.490 aberto em 23 de abr. de 2024

Ver no GitHub
 (0 comments) (0 reactions) (0 assignees)Python (6.224 forks)batch import
enhancementhelp wantedneeds triage

Métricas do repositório

Stars
 (29.107 stars)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

🚀 Feature Request

When preparing checkpoint_best.pt and checkpoint_last.pt, create symbolic link instead of making exact copy of the checkpoint

Motivation

I'm running on a machine that somehow has bad io performance, writing the same file 3 times seems extremely inefficient.

Seems that there is plan to implement a asynchronous copying but i believe a symlink is much more efficient https://github.com/facebookresearch/fairseq/blob/bedb259bf34a9fc22073c13a1cee23192fa70ef3/fairseq/checkpoint_utils.py#L128-L141

Pitch

Alternatives

Additional context

Guia do colaborador

Direção de pesquisa
Reveja a lógica de salvamento de checkpoints em fairseq/checkpoint utils.py nas linhas 128-141. Entenda como os checkpoints são salvos e copiados. Implemente usando os.symlink em vez de shutil.copy para criar links simbólicos para os checkpoints 'best' e 'last'. Garanta compatibilidade multiplataforma (o Windows pode exigir tratamento adicional). Teste a alteração localmente. Considere casos extremos, como links simbólicos existentes ou erros de permissão. Discuta quaisquer dúvidas na issue.
Pilha de tecnologia
pythonpytorch
Domain
backendperformance
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Recente
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Basic PythonUnderstanding of symbolic linksFamiliarity with fairseq checkpoint logic
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
80