FedML-AI/FedML

OverflowError when use fednlp to train model.

Open

#453 aberto em 5 de ago. de 2022

Ver no GitHub
 (3 comments) (0 reactions) (1 assignee)Python (743 forks)batch import
bughelp wantedresearch-projects

Métricas do repositório

Stars
 (3.930 stars)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

Hello, I changed model type from "facebook/bart-base" to "facebook/bart-large-cnn". And get this error: image What should I do to slove this problem? Can you give me some tips?

Guia do colaborador

Direção de pesquisa
Investigue o erro de overflow comparando os tamanhos dos modelos bart base e bart large cnn; verifique se é necessário ajustar a memória ou o tamanho do lote e procure no código do fednlp por tamanhos de tensor codificados.
Pilha de tecnologia
python
Domain
machine learning
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
PythonHugging Face Transformers
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
70