facebookresearch/fairseq

Add an option to disable appending eos to the end of each document while preprocessing

Aperta

#5615 aperta il 26 mag 2025

Vedi su GitHubGuida contributor
 (0 commenti) (0 reazioni) (0 assegnatari)Python (6224 fork)batch import
enhancementhelp wantedneeds triage

Metriche repository

Star
 (29.107 stelle)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

🚀 Feature Request

Add an option to disable appending EOS to the end of each document while preprocessing

Motivation

There are instances where adding EOS is not preferred like when packing data to sequence length.

Pitch

Proposing a change to add an argument to handle this

Guida contributor

Direzione di ricerca
Esamina il modulo di preprocessing in fairseq per trovare dove viene aggiunto EOS e aggiungi un'opzione di configurazione per disabilitarlo.
Tech stack
python
Dominio
backendmachine learning
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
Python
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60