[Question] GLM5----MTP training support
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 30/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Da chiarire
- Stato di attività
- Tranquilla
- Stack tecnologico
- python
- Ambito
- distributed-systems, machine-learning
Direzione di ricerca
Inizia da scripts/models/glm5-744B-A40B.sh alla riga indicata, quindi segui come sono configurati l’addestramento MTP e allgather_cp per GLM-5. Non è stato identificato alcun punto di ingresso per i test o l’implementazione; per completare il lavoro sarebbero necessari un ambito chiarito e un piano di supporto o implementazione approvato da un maintainer.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Your Question
Any plan to support training the MTP layers jointly with the main model for GLM-5?
MTP training is incompatible with allgather_cp
https://github.com/THUDM/slime/blob/f65c6e8191044cc71291a1a87431f752420ffe91/scripts/models/glm5-744B-A40B.sh#L54
What I've Tried
Environment (if relevant)
- slime version:
- Python version:
- PyTorch version:
- CUDA/ROCm version:
- GPU type and count:
- OS:
Additional Context
No response
Pre-submission Checklist
- I have read the CONTRIBUTING.md and understand the collaboration scope.
- I have read the documentation and FAQ and my question is not answered there.
- I have searched for existing issues and my question has not been asked before.
- Lingua principale
- Python
- Stelle
- 8.8k
- Fork
- 1.3k
- Merge medio
- 20h 44m
- PR unite (30g)
- 25
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di THUDM/slime
-
[Bug] Math reward accepts distinct large integers after float normalizationForse già presa @lll-hhh l’ha presa 5 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
I maintainer di solito rispondono entro 1 giorno
-
gpqa: when no option letter can be extracted, a single-letter gold label is substring-matched against the whole reply, so a reply that never answers can score 1.0Forse già presa @shaurya416 l’ha presa 42 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
I maintainer di solito rispondono entro 1 giorno
-
[Bug] shipped dynamic-sampling filters crash on fan-out groups (list[list[Sample]]) from multi-turn agent rolloutsForse già presa @QIU-Guanzong l’ha presa 53 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
I maintainer di solito rispondono entro 1 giorno
-
[Bug] W&B initialization fails with wandb 0.28.2 because wandb.util.generate_id was removedForse già presa @cyyecao-lappland l’ha presa 71 giorni fa. Apertabug
Difficoltà 1/5 1-3 ore Idoneità per principianti 90/100
THUDM/slime#2332 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
[Bug] solution_str = sample.prompt + sample.responseForse già presa @mvanhorn l’ha presa 135 giorni fa. Apertabug
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
THUDM/slime#1829 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
Issue simili
-
bug severity:low
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
I maintainer di solito rispondono entro 2 giorni
-
curriculum documentation quality
Difficoltà 2/5 1-3 ore Idoneità per principianti 77/100
githubnext/gh-aw-workshop#5367 ·
I maintainer di solito rispondono entro 3 giorni
-
OAuth documentation for GET /api/v2/users/me/ appears inconsistent with required global read scopeAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
I maintainer di solito rispondono entro 1 giorno
-
Create Noise Latents ignores randomize_seed and produces the same noise every runForse già presa @griptapeops l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
griptape-ai/griptape-nodes-library-diffusers#127 ·
I maintainer di solito rispondono entro 1 giorno
-
Jenkins capacity report: metrics history is lost when archiving a month failsForse già presa @RaphaelFakhri l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
adoptium/infrastructure#4568 ·
I maintainer di solito rispondono entro 1 giorno