facebookresearch/fairseq

Speech Data Augmentation

Open

#4971 aperta il 3 feb 2023

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Python (6224 fork)batch import
enhancementhelp wanted

Metriche repository

Star
 (29.107 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

Note: this is issue is part of MLH fellowship

We would like to have more speech data augmentation in Fairseq.

I've been using augly which uses a lot of torchaudio.sox_effects, but I haven't been quite happy with the performance. All the sox_effects happen on CPU, which can be slow. I think some of them would better be implemented on GPU.

torchaudio tutorial explain how to implement some data augmentation, and their samples would work on GPU.

https://pytorch.org/audio/stable/tutorials/audio_data_augmentation_tutorial.html

I'm interested in reverb, change_volume, add_background_noise, tempo and pitch_shift.

Guida contributor

Direzione di ricerca
Implementa le augmentazioni vocali basate su GPU (riverbero, volume, rumore di fondo, tempo, pitch shift) utilizzando le funzioni GPU compatibili di torchaudio.
Tech stack
pythonpytorch
Dominio
backendmachine learning
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonPyTorchtorchaudio
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70