ggml-org/whisper.cpp

tests : add WER benchmarks

Aperta

#2454 aperta il 5 ott 2024

Vedi su GitHubGuida contributor
 (26 commenti) (0 reazioni) (0 assegnatari)C++ (6072 fork)batch import
help wantedhigh priorityresearch🔬roadmap

Metriche repository

Star
 (52.942 stelle)
Metriche merge PR
 (Merge medio 5g 20h) (36 PR mergiate in 30 g)

Descrizione

It would be nice to start measuring the word error rate (WER) of whisper.cpp across some representative dataset:

  • short audio
  • long audio
  • english
  • non-english
  • etc.

This will help us catch regressions in the future. I'm not familiar with what is typically used for TTS WER benchmarks, so looking for help from the community.

Guida contributor

Direzione di ricerca
Esamina gli script esistenti per il calcolo del WER e identifica dataset adatti per inglese e non inglese, audio breve e lungo. Verifica la coerenza del formato di output del modello whisper.cpp.
Tech stack
cpp
Dominio
testing qaai
Tipo issue
Test
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
C++Speech Recognition BasicsDataset Handling
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
55