Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

Ref2VA: multi-subject voice identity can bleed between reference-image subjects

Aperta
  • Qualcosa non va?
#17 6 commenti 3 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
35/100
Tipo di issue
Bug
Chiarezza
Da chiarire
Stato di attività
Attiva
Stack tecnologico
python
Ambito
ai, audio-video-rtc

Direzione di ricerca

Nel report non sono indicati file, test o punti di ingresso del codice. Inizia riproducendo gli scenari Ref2VA e FL2VA con parlanti alternati e un condizionamento vocale esplicito; il lavoro è completato quando ogni soggetto mantiene costantemente la voce assegnata senza sconfinamenti nell’altro parlante.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

I’m seeing a repeatable speaker-routing issue with MiniMax H3 Ref2VA in multi-character dialogue scenes.

Visual subject binding works extremely well: multiple characters referenced from separate images remain visually distinct and consistent. However, the audio branch can fail to keep different voice identities attached to the correct subjects. One subject’s voice characteristics can bleed into another subject, or one voice can effectively dominate both speakers.

Example setup:
<Subject 1> = female character from <Picture 1>
Voice A = distinct British female voice anchor

<Subject 2> = female character from <Picture 2>
Voice B = distinct American female voice anchor

Dialogue alternates: Subject 2 → Subject 1 → Subject 2.

The visual identities and speaker/lip assignments remain correct, but Voice B can bleed into Subject 1, causing both subjects to share or partially share the same vocal identity, or Subject 1 uses a completely different voice that wasn't prompted.

Update: I originally reported this as a Ref2VA-specific issue, but I have now reproduced the same multi-speaker voice bleed using FL2VA from a single composed first frame with no last frame.

In FL2VA, explicitly conditioning Subject 2 to speak in an American voice causes Subject 1’s voice to become American as well. Conversely, explicitly conditioning Subject 1 to speak in an Elizabeth Swann / Keira Knightley-style British voice restores Subject 1’s voice, but Subject 2 also shifts to a British voice.

The issue also persists with only one speaker transition (A → B), with explicit tags, and with pure <Subject 1> / <Subject 2> speaker labels.

This suggests the issue may not be specific to Ref2VA reference routing. It may instead involve multi-speaker voice conditioning being applied too globally across the audio stream rather than remaining reliably bound to an individual speaker.

For comparison, other two-character combinations can work correctly, so this does not appear to be a universal inability to generate two distinct voices.

Lingua principale
Python
Stelle
9.8k
Fork
738
Nessuna PR unita negli ultimi 30g

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di MiniMax-AI/MiniMax-H3

Tutte le issue di MiniMax-AI/MiniMax-H3

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.