Running out of memory with version v0.5.17
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 25/100
- Tipo di issue
- Bug
- Chiarezza
- Da chiarire
- Stato di attività
- Ferma
- Stack tecnologico
- python
- Ambito
- machine-learning
Direzione di ricerca
Riprodurre il report su una A100 con v0.5.17, caricando prima Qwen2.5-7B e confrontando poi la stessa configurazione con v0.5.6. Analizzare la differenza di memoria durante il caricamento del modello e la dipendenza unsloth più recente. Il lavoro è completato quando vengono identificati la regressione o la configurazione mancante necessaria per ripristinare l’utilizzo di memoria precedente.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
I used v0.5.6 but upgraded to version v0.5.17 since it uses the newer version of unsloth, which is supposed to be much more memory efficient, especially for MOE models and RL. But with the newer version, I get an out-of-memory error for the same model and the same setup with which v0.5.6 worked fine. I'm training Qwen2.5-14B on A100 GPU. Now, even if I try to run Qwen2.5-7B I get out of memory while loading the model, not even when training starts.
- Lingua principale
- Python
- Stelle
- 10.8k
- Fork
- 989
- Merge medio
- 11h 38m
- PR unite (30g)
- 104
Guida per i contributori
Apri la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di OpenPipe/ART
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 54/100
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 10/100
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 42/100
Tutte le issue di OpenPipe/ART
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 86/100
browser-use/browser-use#5905 ·
-
type: enhancement
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
ynput/ayon-python-api#363 ·
-
bug needs triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
modelscope/FunASR#3728 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
open-compass/opencompass#2655 ·