facebookresearch/fairseq

Is same base model used for MMS-ASR and MMS-TTS (like AudioPaLM)?

Open

#5.221 aberto em 27 de jun. de 2023

Ver no GitHub
 (1 comment) (0 reactions) (0 assignees)Python (6.224 forks)batch import
enhancementhelp wantedneeds triage

Métricas do repositório

Stars
 (29.107 stars)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

Google introduce AudioPaLM, a large language model for speech understanding and generation. AudioPaLM fuses text-based and speech-based language models, PaLM-2 [Anil et al., 2023] and AudioLM [Borsos et al., 2022], into a unified multimodal architecture that can process and generate text and speech with applications including speech recognition and speech-to-speech translation.

How about the MMS? I found fine-tuning MMS ASR based on pretrained base model mms-1b, but I can not find for TTS. Is the same base model mms-1b used for MMS-TTS? How can I fine-tuning or add new language for TTS?

Guia do colaborador

Direção de pesquisa
A questão pergunta se o mesmo modelo base (mms 1b) é usado tanto para ASR quanto para TTS no MMS. Para responder, revise o artigo do MMS (https://arxiv.org/abs/2305.13516) e o lançamento do modelo no repositório. Verifique a documentação do fairseq em busca de scripts de ajuste fino para TTS. Procure por quaisquer checkpoints ou configurações de TTS separados. Se não existirem, observe que o suporte a TTS pode não estar disponível publicamente. Compare com a arquitetura AudioPaLM mencionada na questão.
Pilha de tecnologia
pythonpytorch
Domain
aimachine learning
Tipo Issue
Pesquisa
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PythonPyTorch
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
45