[New Model] Add TADA (Hume AI) TTS model support · vllm-project/vllm-omni#2001

(8 commentaires) (0 réactions) (1 assigné)Python (1 067 forks)github user discovery

good first issuehelp wantednew model

Métriques du dépôt

Stars: (4 990 stars)
Métriques de merge PR: (Métriques PR en attente)

Description

Model

TADA by Hume AI — a speech-language model that unifies speech synthesis with text generation using 1:1 text-speech token alignment built on Llama 3.2.

Architecture

Encoder (HumeAI/tada-codec): encodes reference audio into aligned token sequences
LLM (TadaForCausalLM): autoregressive generation, available in 1B and 3B-ML (multilingual) variants
Generates the complete speech segment per text token in a single AR step (dynamic duration/prosody)

This would likely be a 2-stage pipeline in vllm-omni (AR generation → codec decode), similar to Qwen3 TTS / Fish Speech.

References

GitHub: https://github.com/HumeAI/tada
Requested in https://github.com/vllm-project/vllm-omni/issues/1795#issuecomment-4048885352

cc @ashok-arora — would you be interested in taking a look at this?

Guide contributeur

Direction de recherche: Examinez les modèles d'intégration existants dans vllm omni (par exemple Qwen3 TTS, Fish Speech) pour comprendre la structure de pipeline attendue. Implémentez ensuite le modèle TADA comme un pipeline en deux étapes : génération AR suivie d'un décodage codec, similaire à ces exemples.
Stack technique: python
Domaine: aibackend
Type d'issue: Fonctionnalité
Difficulté: 4
Temps estimé: Plus d'une semaine
Statut d'activité: Active
Clarté: Plutôt claire
Prérequis: PythonPyTorch
Accessibilité débutant: 20