facebookresearch/fairseq

Evaluating TTS using STT

Open

#5,629 opened on 2025年7月19日

GitHub で見る
 (0 comments) (0 reactions) (0 assignees)Python (6,224 forks)batch import
enhancementhelp wantedneeds triage

Repository metrics

Stars
 (29,107 stars)
PR merge metrics
 (30d に merged PR はありません)

説明

I tried to get a text back from the speech I generated using this model, but the text was a bit of. So maybe having some type of test could help while improving the model.

Basically, "some text" -> speech output -> speech input -> text output -> check if text output is "some text"

コントリビューターガイド

調査方針
このissueは、TTSモデルの循環評価を提案しています：モデルを使用してテキストを音声に変換し、次にSTTモデルを使用して音声をテキストに書き起こし、出力テキストと入力テキストを比較します。これを実装するために、貢献者はまず、fairseqに既存の評価スクリプトやサンプルノートブックがあるかどうかを調査する必要があります。また、wav2vec 2.0やWhisperなどの既製のSTTモデルを統合することも検討できます。主な手順は次のとおりです：(1) 既存のTTSモデルを使用して一連のテストテキストから音声を生成する、(2) 音声をSTTモデルに通す、(3) WERやCERなどの指標を計算する。貢献者は、同様の作業について既存のissueやPRも確認する必要があります。
技術スタック
python
領域
aitesting
Issue 種別
テスト
難度新しい貢献者にとっての実装難度です。1 は非常に小さな変更、5 は専門的な作業です。
2
推定時間経験ある貢献者が調査、実装、テスト、pull request 準備にかけるおおよその時間範囲です。
半日
活動状況Issue が今どれだけ取り組みやすいかを示します。新しい、活発、古い、ブロック中、またはメンテナー入力待ちなどです。
新着
明確さ期待される変更、受け入れ条件、次の手順がどれだけ明確かを示します。
おおむね明確
前提条件
なし
初心者向け度初回貢献者にどれだけ取り組みやすいかを 1-100 で推定したスコアです。
60