facebookresearch/fairseq

Add an option to disable appending eos to the end of each document while preprocessing

Open

#5615 aperta il 26 mag 2025

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Python (6224 fork)batch import
enhancementhelp wantedneeds triage

Metriche repository

Star
 (29.107 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

🚀 Feature Request

Add an option to disable appending EOS to the end of each document while preprocessing

Motivation

There are instances where adding EOS is not preferred like when packing data to sequence length.

Pitch

Proposing a change to add an argument to handle this

Guida contributor

Direzione di ricerca
Cerca dove EOS viene aggiunto ai documenti durante la pre elaborazione. Le posizioni tipiche sono nella costruzione del dizionario di fairseq (ad esempio `fairseq/data/dictionary.py`) o negli script di binarizzazione (ad esempio `fairseq cli/preprocess.py`). La soluzione prevede l'aggiunta di un nuovo argomento (ad esempio ` no append eos`) alla funzione di pre elaborazione o allo strumento CLI pertinente e l'omissione condizionale dell'aggiunta dei token EOS.
Tech stack
pythonpytorch
Dominio
machine learning
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonPyTorchfairseq basics
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70