Packing+多模态数据使用deepspeed微调Qwen3.6-35B-A3B发生数据预处理死锁

I maintainer di solito rispondono entro 1 giorno

Valutazione

Direzione di ricerca

Descrizione

Checklist / 检查清单

• I have searched existing issues, and this is a new bug report. / 我已经搜索过现有的 issues，确认这是一个新的 bug report。

Bug Description / Bug 描述

NPU910B Qwen3.6-35B-A3B sft死锁，似乎和Packing/多模态数据强相关。

在8*910B上测试
使用的镜像是swift官方提供的swift4.3.0-910B镜像 自己加上了deepspeed的zero3补丁:https://github.com/modelscope/ms-swift/issues/9657

会在这里死锁：

键盘中断后调用栈

How to Reproduce / 如何复现

我用的训练命令：
swift sft
--model /tmp/Qwen3.6-35B-A3B
--dataset /tmp/final.jsonl \ #这是我自己制作的一个多模态数据集，Agent数据每个个包含1-3张图片
--split_dataset_ratio 0.5
--torch_dtype bfloat16
--tuner_type lora
--target_modules all-linear
--freeze_vit true
--freeze_aligner true
--lora_rank 8
--lora_alpha 32
--num_train_epochs 16
--packing true \ #这个会导致死锁 CPU占用率为0
--per_device_train_batch_size 1
--per_device_eval_batch_size 1
--gradient_accumulation_steps 2
--learning_rate 5e-5
--max_length 40960
--save_steps 100
--eval_steps 100
--save_total_limit 2
--logging_steps 2
--deepspeed zero3_offload
--sequence_parallel_size 8
--padding_free true
--attn_impl flash_attn
--output_dir /tmp/result

具体卡在预处理的这里
https://github.com/modelscope/ms-swift/blob/v4.3.0/swift/dataset/preprocessor/core.py#L353
看不到是卡在哪个数据上了
https://github.com/modelscope/ms-swift/blob/v4.3.0/swift/dataset/preprocessor/core.py#L325
如果把这里的num_proc设置为None，就不会死锁在数据预处理阶段，但是会死锁在Train 0/100

如果关闭packing或者不使用多模态数据，就一切正常

Additional Information / 补充信息

No response

Preparare l'ambiente

Come iniziare

1. Leggi tutta la issue e poi la guida ai contributi del progetto.
2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
3. Fai un fork del repository e lavora su un branch.
4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di modelscope/ms-swift

• `cosine` reward wraps around and `soft_overlong` drops below -1 when a completion is longer than its max length, which multi-turn rollouts now reach

  Forse già presa @YueshenZ l’ha presa 2 giorni fa. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100

  modelscope/ms-swift#10498 · Aperta il 2/11/2026

  I maintainer di solito rispondono entro 1 giorno

• [Bug] `get_seed` consumes a draw from the shared RandomState even when decision augmentation is disabled, changing the train/val split and dataset shuffle

  Forse già presa @ryznren l’ha presa 6 giorni fa. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla
  bug

  Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100

  modelscope/ms-swift#10466 · 1 commento · Aperta il 29/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [Bug] `swift --help` raises KeyError instead of showing CLI help

  Forse già presa @haahy l’ha presa 32 giorni fa. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla
  bug

  Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100

  modelscope/ms-swift#10287 · Aperta il 3/10/2026

  I maintainer di solito rispondono entro 1 giorno

• [Bug] find_free_port() reports the last busy port as free when its scan window is exhausted

  Forse già presa @Lesereingrape l’ha presa 36 giorni fa. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100

  modelscope/ms-swift#10263 · Aperta il 29/9/2026

  I maintainer di solito rispondono entro 1 giorno

• `decode_base64_to_image_file` fails on CMYK images — silently drops an entire dataset (e.g. SEEDBench_IMG_KO)

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla
  bug

  Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100

  modelscope/ms-swift#10095 · 1 commento · Aperta il 10/9/2026

  I maintainer di solito rispondono entro 1 giorno

Tutte le issue di modelscope/ms-swift

Issue simili

• SlurmSettings.from_mapping truncates numbers, reads "false" as true and accepts a negative signal grace

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100

  autowarefoundation/autoware_carla_scenario#1485 · Aperta il 5/11/2026

  I maintainer di solito rispondono entro 1 giorno

• [automated] Main CI failure issues discard the collected diagnosis

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla
  needs-area-label

  Difficoltà 2/5 1-3 ore Idoneità per principianti 66/100

  microsoft/aspire#21778 · Aperta il 5/11/2026

  I maintainer di solito rispondono entro 2 giorni

• ci: check that python -m openphysgraspgen runs from the installed wheel

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla
  enhancement good first issue

  Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100

  Official-Space-AI/OpenPhysGraspGen#114 · Aperta il 5/11/2026

  I maintainer di solito rispondono entro 2 giorni

• New Notion API Changelog Entry: November 4, 2026

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla
  changelog investigate

  Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100

  ramnes/notion-sdk-py#441 · Aperta il 5/11/2026

• copy_tree splits same-file errors into characters

  Forse già presa @Gambit-Checkmate l’ha presa oggi. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100

  mahmoud/boltons#733 · Aperta il 5/11/2026

  I maintainer di solito rispondono entro 14 giorni

Altre issue su Python