FedML-AI/FedML

OverflowError when use fednlp to train model.

Open

#453 aperta il 5 ago 2022

Vedi su GitHub
 (3 commenti) (0 reazioni) (1 assegnatario)Python (743 fork)batch import
bughelp wantedresearch-projects

Metriche repository

Star
 (3930 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

Hello, I changed model type from "facebook/bart-base" to "facebook/bart-large-cnn". And get this error: image What should I do to slove this problem? Can you give me some tips?

Guida contributor

Direzione di ricerca
Investigare l'errore di overflow confrontando le dimensioni del modello tra bart base e bart large cnn; verificare se è necessario regolare la memoria o la dimensione del batch e cercare nel codice fednlp eventuali dimensioni di tensori hardcoded.
Tech stack
python
Dominio
machine learning
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
PythonHugging Face Transformers
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70