facebookresearch/fairseq

Evaluating TTS using STT

Open

#5629 aperta il 19 lug 2025

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Python (6224 fork)batch import
enhancementhelp wantedneeds triage

Metriche repository

Star
 (29.107 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

I tried to get a text back from the speech I generated using this model, but the text was a bit of. So maybe having some type of test could help while improving the model.

Basically, "some text" -> speech output -> speech input -> text output -> check if text output is "some text"

Guida contributor

Direzione di ricerca
Il problema propone una valutazione ciclica per i modelli TTS: convertire il testo in parlato utilizzando il modello, quindi trascrivere il parlato nuovamente in testo utilizzando un modello STT e confrontare il testo di output con l'input. Per implementare ciò, un contributore dovrebbe prima esplorare se fairseq ha già script di valutazione o notebook di esempio. Potrebbe anche esaminare l'integrazione di un modello STT predefinito come wav2vec 2.0 o Whisper. I passaggi principali sarebbero: (1) generare parlato da un insieme di testi di prova utilizzando il modello TTS esistente, (2) passare l'audio attraverso un modello STT, (3) calcolare metriche come WER o CER. Il contributore dovrebbe anche verificare problemi o PR esistenti per lavori simili.
Tech stack
python
Dominio
aitesting
Tipo issue
Test
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
Nessuno
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60