facebookresearch/fairseq

Speech Data Augmentation

Open

#4.971 aberto em 3 de fev. de 2023

Ver no GitHub
 (0 comments) (0 reactions) (0 assignees)Python (6.224 forks)batch import
enhancementhelp wanted

Métricas do repositório

Stars
 (29.107 stars)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

Note: this is issue is part of MLH fellowship

We would like to have more speech data augmentation in Fairseq.

I've been using augly which uses a lot of torchaudio.sox_effects, but I haven't been quite happy with the performance. All the sox_effects happen on CPU, which can be slow. I think some of them would better be implemented on GPU.

torchaudio tutorial explain how to implement some data augmentation, and their samples would work on GPU.

https://pytorch.org/audio/stable/tutorials/audio_data_augmentation_tutorial.html

I'm interested in reverb, change_volume, add_background_noise, tempo and pitch_shift.

Guia do colaborador

Direção de pesquisa
Implemente aumentações de fala baseadas em GPU (reverb, volume, ruído de fundo, tempo, pitch shift) usando funções compatíveis com GPU do torchaudio.
Pilha de tecnologia
pythonpytorch
Domain
backendmachine learning
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Recente
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PythonPyTorchtorchaudio
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
70