Add a fine-tune script for JetMoE

Aperta
  • Qualcosa non va?
#105 2 commenti 3 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
25/100
Tipo di issue
Funzionalità
Chiarezza
Da chiarire
Stato di attività
Ferma
Stack tecnologico
python
Ambito
machine-learning, tooling

Direzione di ricerca

Leggi il report tecnico di JetMoE e analizza il fork di Megablocks collegato per capire come sono stati usati Megablocks e Megatron per il training. Determina il workflow di fine-tuning previsto e il punto di integrazione in questo repository; il lavoro è completato quando è disponibile uno script di fine-tuning documentato ed eseguibile per JetMoE.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

@tgale96

The JetMoE technical report has mentioned how they used Megablocks with Megatrone to train the model.

Then the author shared this fork of the megablokcs used during the training.

Could you please let us know how we can proceed with a fine-tuning script?

Lingua principale
Python
Stelle
1.6k
Fork
227
Nessuna PR unita negli ultimi 30g

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.