THUDM/slime

[FSDP] Try to optimize context parallelism

Open

#1062 aperta il 8 dic 2025

Vedi su GitHub
 (6 commenti) (0 reazioni) (0 assegnatari)Python (873 fork)github user discovery
good first issue

Metriche repository

Star
 (6010 star)
Metriche merge PR
 (Merge medio 1g 11h) (31 PR mergiate in 30 g)

Descrizione

Currently the context parallelism's training time is like 2 times when we use cp=2 than cp=1, we should try to optimize this for long sequence, maybe reduce the all gather entropy and logp and calculate the local loss to reduce the numbers of communication

Guida contributor

Direzione di ricerca
Investiga l'implementazione del parallelismo di contesto di FSDP per identificare i colli di bottiglia della comunicazione, in particolare l'all gather per entropia e logp. Considera il calcolo della perdita locale per ridurre la comunicazione.
Tech stack
pythonpytorch
Dominio
backendmachine learningperformance
Tipo issue
Performance
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Richiede indagine
Prerequisiti
PythonPyTorch
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
30