qwen3.5和qwen3.6 grpo训练 wandb 奖励函数问题

Chiusa
  • Qualcosa non va?
#9,764 2 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
45/100
Tipo di issue
Bug
Chiarezza
Da chiarire
Stato di attività
Tranquilla
Stack tecnologico
python
Ambito
machine-learning

Direzione di ricerca

Inizia con il plugin esterno in examples/train/grpo/plugin/price/price_plugin2.py e traccia il modo in cui price_format riceve la soluzione generata. Riproduci il comando con il logging di WANDB abilitato, quindi confronta i delimitatori della completion registrata con il risultato del reward di formato. Il lavoro è completo quando è chiaro come vengono gestiti i tag di thinking mancanti o non corrispondenti e il comportamento del reward è verificato.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

bug
Checklist / 检查清单
  • I have searched existing issues, and this is a new bug report. / 我已经搜索过现有的 issues，确认这是一个新的 bug report。
Bug Description / Bug 描述

qwen3.5-9b微调
wandb看输入提示词显示 最后添加了
模型回答 显示 直接就回答了 结尾<\think>，那这样计算格式奖励 是不是就一直为0，是要开头人工加上思考前缀吗
把模型回答 开头添加 再计算格式奖励吗
之前训练的qwen3.6-27b 也有这个问题，模型回答 只有<\think> 没有开始的

How to Reproduce / 如何复现

WANDB_PROJECT=qwen35_9b_rl_priceQA_0517
CUDA_VISIBLE_DEVICES=0,1
NPROC_PER_NODE=2
swift rlhf
--rlhf_type grpo
--model /output/Qwen3.5-9B-price-0516-sft/v1-20260517-232506/checkpoint-430-merged
--external_plugins examples/train/grpo/plugin/price/price_plugin2.py
--reward_funcs price_accuracy price_format
--columns '{"output": "solution"}'
--enable_thinking true
--use_vllm true
--vllm_mode colocate
--vllm_gpu_memory_utilization 0.6
--vllm_tensor_parallel_size 1
--vllm_max_model_len 4096
--sleep_level 1
--tuner_type 'lora'
--torch_dtype bfloat16
--load_from_cache_file true
--max_length 3072
--max_completion_length 2048
--num_train_epochs 2
--per_device_train_batch_size 8
--gradient_accumulation_steps 8
--learning_rate 1e-6
--lr_scheduler_type cosine
--save_steps 20
--save_total_limit 2
--logging_steps 1
--warmup_ratio 0.0
--dataloader_num_workers 4
--num_generations 8
--temperature 1.0
--system "$SYSTEM_PROMPT"
--output_dir output/Qwen3.5-9B-price-0616-grpo
--deepspeed zero2
--log_completions true
--report_to wandb
--max_grad_norm 1.0
--epsilon 0.2
--epsilon_high 0.28
--scale_rewards none

Additional Information / 补充信息

No response

Lingua principale
Python
Stelle
16k
Fork
1.8k
Merge medio
2g 3h
PR unite (30g)
75

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di modelscope/ms-swift

Tutte le issue di modelscope/ms-swift

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.