verl-project/verl

vllm cannot load model after megatron training

Aperta

#1757 aperta il 29 mag 2025

Vedi su GitHubGuida contributor
 (0 commenti) (0 reazioni) (0 assegnatari)Python (4427 fork)auto 404
help wanted

Metriche repository

Star
 (23.038 stelle)
Metriche merge PR
 (Merge medio 3g 6h) (125 PR mergiate in 30 g)

Descrizione

After megatron training and convert to hf model, i want to infer using vllm, which meet problem when loading. File "/python3.11/site-packages/vllm/model_executor/models/utils.py", line 250, in _load_module raise ValueError(msg) ValueError: There is no module or parameter named 'decoder' in Qwen3ForCausalLM After model_merger.py process, the name of parameters changed.

Guida contributor

Direzione di ricerca
Indaga sulla mancata corrispondenza nella denominazione dei parametri tra il modello convertito di Megatron e vLLM. L'errore si verifica in vllm/model executor/models/utils.py alla riga 250, dove manca il parametro 'decoder'. Controlla model merger.py per capire come rinomina i parametri dopo l'addestramento. Esamina la definizione del modello Qwen3ForCausalLM per identificare i nomi dei parametri previsti. La correzione probabilmente comporta l'aggiornamento dello script di conversione per soddisfare le aspettative di vLLM o l'aggiunta di una mappatura dei parametri in vLLM.
Tech stack
python
Dominio
aimachine learningbackend
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonMegatron trainingHugging Face model conversion
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
75