Expose per-step decoder cross-attention scores during generate() (for streaming / AlignAtt policies)

Aperta
#2,059 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
45/100
Tipo di issue
Funzionalità
Chiarezza
Abbastanza chiara
Stato di attività
Tranquilla
Stack tecnologico
cpp

Direzione di ricerca

Inizia leggendo l'implementazione esistente di align() di Whisper e il percorso Translator descritto in #1716, concentrandoti su come viene gestito return_attention. Segui il modo in cui Whisper generate() produce valori di WhisperGenerationResult. Il lavoro è completo quando generate() accetta return_attention=True ed espone i punteggi di cross-attention del decoder per ogni passaggio, per policy di streaming come AlignAtt.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

The Whisper generate() result (WhisperGenerationResult) exposes sequences, scores, logits and no_speech_prob, but not the decoder cross-attention. Attention is only available via the separate align() method, and return_attention exists for the Translator path (see #1716).
This blocks streaming policies like AlignAtt (used by SimulStreaming), which decide token-by-token whether a token is "safe" to emit based on where attention is focused in the audio. Because per-step cross-attention isn't exposed during generate(), projects built on faster-whisper / CTranslate2 can't implement AlignAtt and fall back to the slower torch backend.
Reference: ufal/SimulStreaming#10 — the maintainer confirms faster-whisper can't be used precisely because it doesn't expose attention.
Would it be possible to add a return_attention=True option to Whisper generate() that returns per-step cross-attention scores? The existing align() implementation and the Translator's return_attention suggest the underlying data and mechanism are already available.
Related: #1716, #1855.

SimulStreaming Issue #10

Lingua principale
C++
Stelle
4.8k
Fork
557
Merge medio
1g 6h
PR unite (30g)
24

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di OpenNMT/CTranslate2

Tutte le issue di OpenNMT/CTranslate2

Issue simili

Altre issue su C++

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.