ggml-org/whisper.cpp

tests : add WER benchmarks

Open

#2.454 geöffnet am 5. Okt. 2024

Auf GitHub ansehen
 (26 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)C++ (49.693 Stars) (5.535 Forks)batch import
help wantedhigh priorityresearch🔬roadmap

Beschreibung

It would be nice to start measuring the word error rate (WER) of whisper.cpp across some representative dataset:

  • short audio
  • long audio
  • english
  • non-english
  • etc.

This will help us catch regressions in the future. I'm not familiar with what is typically used for TTS WER benchmarks, so looking for help from the community.

Contributor Guide

Tech Stack
ccpp
Domain
testingmachine learningperformance
Issue Type
feature
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
3-5 days
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
active
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
mostly clear
Voraussetzungen
Basic understanding of whisper.cppFamiliarity with word error rate (WER)Experience with audio datasets
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
40
Research-Richtung
The issue requests adding WER benchmarks to whisper.cpp. Start by researching standard ASR benchmark datasets (e.g., LibriSpeech, Common Voice) that include short/long audio and English/non English samples. Examine the existing test infrastructure in the repository (likely in tests/ directory or Makefile) to understand how to integrate new benchmarks. Review the comments on the issue for community suggestions on dataset selection and evaluation methodology. Coordinate with maintainers to agree on a concrete set of datasets and metrics before implementing.