MiniMax-H3 CFG 蒸馏模型 SFT 后发糊，可能是什么原因？
Maintainer antworten meist innerhalb von 1 Tag
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Anfängerfreundlichkeit
- 8/100
- Issue-Typ
- Bug
- Klarheit
- Muss geklärt werden
- Aktivitätsstatus
- Aktiv
- Tech-Stack
- python
- Bereich
- ai, machine-learning
Rechercherichtung
The payload names no files or tests, so start from the issue's three training configurations (direct SFT, DeCFG scaffold, DeCFG with training_cfg_scale=4) and the six-comment thread for any answers already given. This is a diagnosis of why fine-tuned output is blurry, and the open question is whether de-distillation is needed, which is a design decision for maintainers. A useful contribution would be a reproduced comparison of these settings or a maintainer-confirmed direction, not a patch.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
开源权重是 CFG 蒸馏模型。下面三次训练的数据相同：约 几千 条 480p 真人视频，10000 步。
- 直接 SFT
推理时cfg=1 时（就是没有negative embedding）画面崩掉。改成 CFG 推理后能出画面，但清晰度仍然下降。
- 只加 DeCFG 脚手架
训练时加载 DeCFG，推理去掉，cfg=1。能学到一些内容，脸也不再那么油。训到后面视频仍然变糊，音频生成也出问题。
- DeCFG + training_cfg_scale=4
同样 10000 步，推理仍是 cfg=1、一次前向。学习效果比前两种好，但画面上像蒙了一层白雾，原因不清楚。
三次之后，清晰度都比底模下降，这一项目前最影响使用。
下一步打算做去蒸馏，把模型训回推理时走真 CFG（正、负两次前向）。想确认有没有人在 H3 上跑通，以及 training_cfg_scale 的 scale、无条件分支是否还要丢掉参考图和参考视频。
如果有训得比较清楚、音频也正常的配置，希望交流一下数据分辨率、步数、rank、学习率和推理设置。
- Vorherrschende Sprache
- Python
- Sterne
- 13.2k
- Forks
- 1.3k
- Ø Merge
- 3 T. 17 Std.
- Gemergte PRs (30 T.)
- 32
Entwicklungsumgebung
Dieses Projekt bietet weder Dev-Container noch Dockerfile noch Beitragsleitfaden – die Einrichtung liegt bei Ihnen. Beginnen Sie mit der README; die allgemeinen Schritte stehen in unserem Leitfaden für den ersten Beitrag.
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus modelscope/DiffSynth-Studio
-
Partial download surfaces as "Cannot detect the model type" rather than a download errorEvtl. wieder frei Ein Pull Request dazu wurde ohne Merge geschlossen. Offen
Schwierigkeit 1/5 1-3 Stunden Anfängerfreundlichkeit 78/100
modelscope/DiffSynth-Studio#1668 ·
Maintainer antworten meist innerhalb von 1 Tag
-
bfloat16训练时段错误: 数组越界的一种方案Evtl. wieder frei Ein Pull Request dazu wurde ohne Merge geschlossen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
modelscope/DiffSynth-Studio#1499 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 78/100
modelscope/DiffSynth-Studio#1373 · 5 Kommentare · 1 Reaktion ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 15/100
modelscope/DiffSynth-Studio#1756 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 15/100
modelscope/DiffSynth-Studio#1751 ·
Maintainer antworten meist innerhalb von 1 Tag
Alle Issues in modelscope/DiffSynth-Studio
Ähnliche Issues
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
ok-oldking/ok-wuthering-waves#1785 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 76/100
healthchecks/healthchecks#1349 ·
-
deployment release-lag
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 68/100
nolte/kamerplanter#2374 ·
Maintainer antworten meist innerhalb von 1 Tag
-
bug v1 v2
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
modelcontextprotocol/python-sdk#3725 ·
Maintainer antworten meist innerhalb von 1 Tag
-
batchterms() drops queries without a similar() clause, misaligning results with inputsEvtl. vergeben @MohammadHijjawi97 hat das heute übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 86/100
Maintainer antworten meist innerhalb von 1 Tag