facebookresearch/fairseq

Add an option to disable appending eos to the end of each document while preprocessing

Open

#5.615 aberto em 26 de mai. de 2025

Ver no GitHub
 (0 comments) (0 reactions) (0 assignees)Python (6.224 forks)batch import
enhancementhelp wantedneeds triage

Métricas do repositório

Stars
 (29.107 stars)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

🚀 Feature Request

Add an option to disable appending EOS to the end of each document while preprocessing

Motivation

There are instances where adding EOS is not preferred like when packing data to sequence length.

Pitch

Proposing a change to add an argument to handle this

Guia do colaborador

Direção de pesquisa
Procure onde o EOS é anexado aos documentos durante o pré processamento. Os locais típicos estão na construção do dicionário do fairseq (por exemplo, `fairseq/data/dictionary.py`) ou nos scripts de binarização (por exemplo, `fairseq cli/preprocess.py`). A solução envolve adicionar um novo argumento (por exemplo, ` no append eos`) à função de pré processamento ou ferramenta CLI relevante e pular condicionalmente a adição de tokens EOS.
Pilha de tecnologia
pythonpytorch
Domain
machine learning
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Recente
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PythonPyTorchfairseq basics
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
70