Significant Korean accuracy degradation with Whisper inputs shorter than 30 seconds

Aperta
#2,100 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
35/100
Tipo di issue
Bug
Chiarezza
Da chiarire
Stato di attività
Attiva
Stack tecnologico
cpp

Direzione di ricerca

Inizia riproducendo i risultati di large-v3-turbo con 100–350 Mel frames e con lo stesso audio sottoposto a padding fino a 3000 Mel frames. Confronta l'accuratezza della trascrizione in coreano e il comportamento dei timestamp tra file ripetuti e enunciati telefonici, quindi determina se è necessaria una lunghezza minima dell'input, una strategia di padding o una modifica della decodifica dei timestamp.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

CTranslate2 added support for Whisper inputs shorter than 30 seconds.

Does this feature only allow shorter input shapes, or is it expected
to preserve transcription accuracy and timestamp behavior compared
with padding the same audio to 3000 Mel frames?

I tested large-v3-turbo with approximately 100–350 Mel frames.
Inference became significantly faster, but Korean transcription
accuracy decreased substantially, especially for short telephone
utterances.

When the exact same audio file is used repeatedly, the transcription
result is consistent. However, when speakers repeat the same sentence
over a telephone connection, recognition results frequently differ
or become incorrect.

Is there a recommended minimum input length or padding strategy for
short inputs? Are additional changes required for timestamp decoding
when the encoder input is shorter than 3000 Mel frames?

Lingua principale
C++
Stelle
4.8k
Fork
557
Merge medio
1g 6h
PR unite (30g)
24

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di OpenNMT/CTranslate2

Tutte le issue di OpenNMT/CTranslate2

Issue simili

Altre issue su C++

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.