Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

zero3 and enable hybrid engine are not suitable for llama2, how to solve it?

Aperta
  • Qualcosa non va?
#864 3 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
30/100
Tipo di issue
Bug
Chiarezza
Da chiarire
Stato di attività
Ferma
Stack tecnologico
python
Ambito
machine-learning

Direzione di ricerca

Inizia riproducendo il comportamento segnalato di stage 3 PPO con Llama2, ZeRO-3 e hybrid engine abilitati, quindi confrontalo con le configurazioni funzionanti con ZeRO-2, hybrid engine disabilitato e OPT. Traccia il percorso di generazione di Actor e determina la causa dei token ripetuti o vuoti; il lavoro è completato quando viene identificato un fix riproducibile e viene confermata la generazione normale nella configurazione che presenta il problema.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

In my experiment, I found that if I use zero3 and enable hybrid engine setting, the Actor will generate repeat token or nothing during stage 3 (PPO) training. Here is an example:

image

Besides, I took some other experiments:
Experiment 1: use the zero2 and enable hybrid engine, which is fine.

Experiment 2: use the zero3 and disenable hybrid engine, which is fine.

Experiment 3: I tested the OPT model, which is fine in zero3, and enable hybrid engine setting.

I'm confused by this phenomenon and want to know how to fix it. That said, due to time and GPU memory constraints, I want to use zero3 and enable hybrid engine settings.

Lingua principale
Python
Stelle
6.8k
Fork
1.1k
Merge medio
2g 16h
PR unite (30g)
1

Preparare l'ambiente

Non abbiamo ancora controllato i file di configurazione di questo progetto. Parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di deepspeedai/DeepSpeedExamples

Tutte le issue di deepspeedai/DeepSpeedExamples

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.