facebookresearch/fairseq

Evaluating TTS using STT

Open

#5.629 aberto em 19 de jul. de 2025

Ver no GitHub
 (0 comments) (0 reactions) (0 assignees)Python (6.224 forks)batch import
enhancementhelp wantedneeds triage

Métricas do repositório

Stars
 (29.107 stars)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

I tried to get a text back from the speech I generated using this model, but the text was a bit of. So maybe having some type of test could help while improving the model.

Basically, "some text" -> speech output -> speech input -> text output -> check if text output is "some text"

Guia do colaborador

Direção de pesquisa
A issue propõe uma avaliação cíclica para modelos TTS: converter texto em fala usando o modelo, depois transcrever a fala de volta para texto usando um modelo STT e comparar o texto de saída com a entrada. Para implementar isso, um contribuidor deve primeiro explorar se o fairseq já possui scripts de avaliação ou notebooks de exemplo. Eles também podem investigar a integração de um modelo STT pronto para uso, como wav2vec 2.0 ou Whisper. As etapas principais seriam: (1) gerar fala a partir de um conjunto de textos de teste usando o modelo TTS existente, (2) passar o áudio por um modelo STT, (3) calcular métricas como WER ou CER. O contribuidor também deve verificar issues ou PRs existentes para trabalhos semelhantes.
Pilha de tecnologia
python
Domain
aitesting
Tipo Issue
Teste
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Recente
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
None
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
60