Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

提案：为 Twinkle 新增 TTS 训练支持（多码本 Preprocessor + Loss）

Abierto
  • ¿Algo no está bien?
#279 3 comentarios 0 reacciones 0 asignados Ver en GitHub

Los mantenedores suelen responder en 1 día

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
5/5
Tiempo estimado
Más de una semana
Aptitud para principiantes
35/100
Tipo de issue
Nueva funcionalidad
Claridad
Bastante claro
Estado de actividad
Activo
Stack tecnológico
python
Área
audio-video-rtc, machine-learning

Línea de trabajo

Comienza con cookbook/mm/fsdp2.py y su patrón LatexOCRProcessor; después, inspecciona el código del tokenizador de Qwen3-TTS para determinar cómo se organizan los tokens de múltiples codebooks. Lee community/norwegian-lora/train_lora.py en el repositorio MOSS-TTS como referencia para la loss. Se considera terminado cuando el diseño del processor y de la loss esté definido, con pruebas que comprueben las formas de entrada y de las etiquetas, así como el enmascarado con -100, antes de comenzar el trabajo del cookbook y la documentación.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

背景

Twinkle 现在支持文本 LLM 和多模态，但没有 TTS 训练支持（cookbook 里没 TTS 示例，模型支持表也没列 TTS 变体）。我想给它加上 TTS 的 LoRA SFT 能力，先发个方案对一下，如果没问题我会按工作项实现并提交PR。

目标

让 Twinkle 能跑这两类 TTS 模型的 LoRA SFT：

  1. 多码本 AR-LM（如 Qwen3-TTS-12Hz-1.7B-Base）：输入"文本+参考音频"，输出"目标音频的多码本 token"
  2. 非 AR 局部 Transformer（如 MOSS-TTS-Local-Transformer-v1.5）

两类架构不同，但 LoRA 都挂在 q/k/v 这些线性层，组件能复用。

设计

仿 cookbook/mm/fsdp2.py 里 LatexOCRProcessor 的范式（自定义 Preprocessor 子类 + Trajectory/Message），加两个组件：

TTSMultiCodebookProcessor（Preprocessor 子类）

把 manifest 里的多码本 audio_codes 组织成训练样本：

  • 文本 + 参考音频部分：label 置 -100（不学）
  • 目标音频部分：保留多码本 label（学）
  • 输出形如 Trajectory(messages=[Message(role='user', content=text, audio=ref_codes), Message(role='assistant', audio_codes=target_codes)])
TTSMultiCodebookLoss（Loss 子类）

多码本 next-token 交叉熵：每个位置对每个码本算 CE 再求和，只在 label != -100 的位置算。多码本 loss 的写法参考 OpenMOSS 官方 MOSS-TTS 仓库 community/norwegian-lora/train_lora.py。

工作项拆解

  • W1 调研多码本 token 在序列里怎么组织（多头输出 / flatten / 残差量化），看 Qwen3-TTS 官方 tokenizer 代码确认。这决定 Preprocessor 的 encode 逻辑。
  • W2 设计 TTSMultiCodebookProcessor 接口：仿 LatexOCRProcessor，定 preprocess(row) -> Trajectory 的字段（Message 要不要加 audio_codes 字段、参考音频怎么放）。
  • W3 实现 TTSMultiCodebookProcessor + 单测：用极小 manifest 跑通 encode，断言 input_ids/labels 的 shape 和 -100 位置正确。
  • W4 设计+实现 TTSMultiCodebookLoss：多码本 CE，仿现成 causal_lm 的接口风格，加 task='multi_codebook_lm'。
  • W5 加 cookbook 示例 cookbook/tts/qwen3_tts_lora.py：单卡 + LoRA + bf16，仿 cookbook/transformers/fsdp2.py 结构。
  • W6 MOSS-TTS-Local-Transformer 适配：非 AR 局部 Transformer 训练格式不同，可能要再写个 Preprocessor 变体（W1-W5 跑通后再碰）。
  • W7 文档：README 教程表加 TTS 行、docs 加一节"TTS 训练"。

不在范围内

  • vocoder / codec 本身训练（冻结用官方训好的）
  • 全量 SFT（先做 LoRA，全量以后再说）

想确认的几点

  1. Message 类要不要扩展支持 audio_codes 字段？还是复用现成的 images 之类？
  2. 多码本 loss 是写个新 Loss 类，还是给现成 CE 加个 multi-codebook 模式？
  3. task='multi_codebook_lm' 这个 task 名合不合适？要不要走现成 task 机制？
  4. cookbook 放 cookbook/tts/ 还是 cookbook/transformers/ 下？

硬件

我在昇腾 NPU 单卡上做（bf16 LoRA），但组件本身不绑死硬件，CUDA 也能跑。

Lenguaje dominante
Python
Estrellas
260
Forks
55
Merge medio
1 d 11 h
PR fusionados (30 d)
15

Preparar el entorno

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de modelscope/twinkle

Todos los issues de modelscope/twinkle

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.