Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

MOE uses more memory than dense model and is slower

Aperta
  • Qualcosa non va?
#166 1 commento 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
25/100
Tipo di issue
Bug
Chiarezza
Da chiarire
Stato di attività
Ferma
Stack tecnologico
python
Ambito
machine-learning, performance

Direzione di ricerca

Non è indicato alcun file sorgente, test o punto di ingresso. Inizia riproducendo il confronto riportato del modello ~520M con dimensione dell’embedding 1536, 48 esperti, 8 esperti attivi, dimensione dell’esperto 128 e un peso della auxiliary loss pari a 0.001. Il lavoro è completo quando la differenza di memoria e tempo di addestramento è spiegata e il prossimo passo per l’issue è confermato.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

I am training a ~520 M model, but I have found that the megablocks moe version uses substantially more memory and takes longer to train than a dense model of corresponding size. I am using a model embedding dimension of 1536. The moe model has 48 experts with 8 active and and expert size of 128. I set lbl loss weight to 0.001.

Image Image Image
Lingua principale
Python
Stelle
1.6k
Fork
230
Nessuna PR unita negli ultimi 30g

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di databricks/megablocks

Tutte le issue di databricks/megablocks

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.