ggml-org/whisper.cpp

tests : add WER benchmarks

Open

Aperta il 5 ott 2024

Vedi su GitHub
 (26 commenti) (0 reazioni) (0 assegnatari)C++ (49.693 star) (5535 fork)batch import
help wantedhigh priorityresearch🔬roadmap

Descrizione

It would be nice to start measuring the word error rate (WER) of whisper.cpp across some representative dataset:

  • short audio
  • long audio
  • english
  • non-english
  • etc.

This will help us catch regressions in the future. I'm not familiar with what is typically used for TTS WER benchmarks, so looking for help from the community.

Guida contributor

Tech stack
ccpp
Dominio
testingmachine learningperformance
Tipo issue
feature
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
3-5 days
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
active
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
mostly clear
Prerequisiti
Basic understanding of whisper.cppFamiliarity with word error rate (WER)Experience with audio datasets
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40
Direzione di ricerca
La richiesta del problema è di aggiungere benchmark WER a whisper.cpp. Inizia ricercando dataset di benchmark ASR standard (ad es. LibriSpeech, Common Voice) che includano campioni audio brevi/lunghi e in inglese/non inglese. Esamina l'infrastruttura di test esistente nel repository (probabilmente nella directory tests/ o nel Makefile) per capire come integrare nuovi benchmark. Rivedi i commenti sul problema per i suggerimenti della comunità sulla selezione dei dataset e la metodologia di valutazione. Coordinati con i maintainer per concordare un insieme concreto di dataset e metriche prima dell'implementazione.