CUNY-CL/yoyodyne

Non-autoregressive sequence generation

Open

#262 aperta il 25 ott 2024

Vedi su GitHub
 (0 commenti) (0 reazioni) (1 assegnatario)Python (21 fork)auto 404
enhancementgood first issuenew architecture

Metriche repository

Star
 (35 star)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Right now, our dominant paradigm is autoregressive prediction. While this is SOTA ,it doesn't allow experimentation with other sequence-to-sequence tasks. Technically, we can define an arbitrary sequence length >>>> than any input or output and train a model to project an input to this length and then decode over it for non-autoregressive prediction. Example algorithms would be: Listen Attend Spell or CTC.

Guida contributor

Direzione di ricerca
Esamina i paper sulla generazione di sequenze non autoregressive (es. CTC, Listen Attend Spell) e studia come integrarli nel framework sequenza a sequenza esistente. Inizia leggendo il codice attuale per comprendere l'implementazione autoregressiva, poi prototipa un modulo decoder non autoregressivo.
Tech stack
python
Dominio
machine learningai
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
4
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Oltre 1 settimana
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
Pythondeep learning basicssequence to sequence models
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
20