yl4579/StyleTTS2

Fine-tuning or training from scratch in a differente language?

Open

#197 aberto em 30 de jan. de 2024

Ver no GitHub
 (30 comments) (0 reactions) (0 assignees)Python (210 forks)batch import
help wanted

Métricas do repositório

Stars
 (3.429 stars)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

Hi everyone, I'm considering putting some effort into training StyleTTS in Portuguese. I have a good-quality dataset for this task, however, I was in doubt if it would be better just to fine-tune the model (which I know was trained in English), or (since it's an unseen language) train the model from scratch in Portuguese.

Does anyone have some tips on what I should consider before making a decision?

Guia do colaborador

Direção de pesquisa
Compare o tamanho e a qualidade do seu conjunto de dados em português com o conjunto de dados original em inglês. Considere o ajuste fino se seu conjunto for pequeno (ex.: <10 horas) para aproveitar características pré treinadas em inglês, ou treine do zero se tiver um conjunto grande (ex.: >100 horas) para capturar a prosódia específica do idioma. Avalie também os recursos computacionais: o ajuste fino é mais barato.
Pilha de tecnologia
python
Domain
machine learningaiaudio video rtc
Tipo Issue
Pesquisa
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PythonMachine Learning
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
70