facebookresearch/fairseq

Evaluating TTS using STT

Offen

#5.629 geöffnet am 19.07.2025

Auf GitHub ansehenContributor Guide
 (0 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (6.224 Forks)batch import
enhancementhelp wantedneeds triage

Repository-Metriken

Stars
 (29.107 Sterne)
PR-Merge-Metriken
 (Keine gemergten PRs in 30 T)

Beschreibung

I tried to get a text back from the speech I generated using this model, but the text was a bit of. So maybe having some type of test could help while improving the model.

Basically, "some text" -> speech output -> speech input -> text output -> check if text output is "some text"

Contributor Guide

Research-Richtung
Das Issue schlägt eine zyklische Evaluation für TTS Modelle vor: Text mit dem Modell in Sprache umwandeln, dann die Sprache mit einem STT Modell zurück in Text transkribieren und den Ausgabetext mit der Eingabe vergleichen. Zur Implementierung sollte ein Mitwirkender zunächst prüfen, ob fairseq bereits Evaluationsskripte oder Beispiel Notebooks hat. Sie könnten auch die Integration eines vorgefertigten STT Modells wie wav2vec 2.0 oder Whisper untersuchen. Die Hauptschritte wären: (1) Sprache aus einer Reihe von Testtexten mit dem vorhandenen TTS Modell generieren, (2) das Audio durch ein STT Modell verarbeiten, (3) Metriken wie WER oder CER berechnen. Der Mitwirkende sollte auch bestehende Issues oder PRs auf ähnliche Arbeiten überprüfen.
Tech Stack
python
Domain
aitesting
Issue Type
Test
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Frisch
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
Keine
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
60