CarperAI/trlx

Add tensor padding options to improve hardware utilization

Open

#284 aberto em 6 de fev. de 2023

Ver no GitHub
 (8 comments) (2 reactions) (0 assignees)Python (450 forks)batch import
contributions welcomefeature requestgood first issue

Métricas do repositório

Stars
 (4.184 stars)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

🚀 The feature, motivation, and pitch

Recent discussion on Twitter highlighted the importance of tensor padding to improve hardware util. NeMo seems to already support GPU-friendly vocab size padding from discussions with @cat-state but we should also consider adding an optional pad_to_multiple_of arg to our tokenizer calls with the accelerate/transformers backend to satisfy Tensor Core requirements.

image

The implementer should also provide system plots to display any improvements/findings.

Alternatives

No response

Additional context

No response

Guia do colaborador

Direção de pesquisa
Investigue as chamadas do tokenizador no trlx, identifique onde adicionar pad to multiple of nas chamadas do tokenizador com o backend accelerate/transformers e meça as melhorias na utilização de hardware usando gráficos do sistema.
Pilha de tecnologia
python
Domain
machine learningaibackend
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Precisa de investigação
Prerequisites
PythonHuggingFace Transformers
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
40