ggml-org/whisper.cpp

tests : add WER benchmarks

Ouverte

#2 454 ouverte le 5 oct. 2024

Voir sur GitHubGuide contributeur
 (26 commentaires) (0 réaction) (0 personne assignée)C++ (6 074 forks)batch import
help wantedhigh priorityresearch🔬roadmap

Métriques du dépôt

Stars
 (52 968 étoiles)
Métriques de merge PR
 (Merge moyen 5j 20h) (36 PRs mergées en 30 j)

Description

It would be nice to start measuring the word error rate (WER) of whisper.cpp across some representative dataset:

  • short audio
  • long audio
  • english
  • non-english
  • etc.

This will help us catch regressions in the future. I'm not familiar with what is typically used for TTS WER benchmarks, so looking for help from the community.

Guide contributeur

Direction de recherche
Examinez les scripts de calcul de WER existants et identifiez des ensembles de données adaptés pour l'anglais et les autres langues, l'audio court et long. Vérifiez la cohérence du format de sortie du modèle whisper.cpp.
Stack technique
cpp
Domaine
testing qaai
Type d'issue
Test
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
C++Speech Recognition BasicsDataset Handling
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
55