facebookresearch/fairseq

Add an option to disable appending eos to the end of each document while preprocessing

Ouverte

#5 615 ouverte le 26 mai 2025

Voir sur GitHubGuide contributeur
 (0 commentaire) (0 réaction) (0 personne assignée)Python (6 224 forks)batch import
enhancementhelp wantedneeds triage

Métriques du dépôt

Stars
 (29 107 étoiles)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

🚀 Feature Request

Add an option to disable appending EOS to the end of each document while preprocessing

Motivation

There are instances where adding EOS is not preferred like when packing data to sequence length.

Pitch

Proposing a change to add an argument to handle this

Guide contributeur

Direction de recherche
Examinez le module de prétraitement dans fairseq pour trouver où l'EOS est ajouté et ajoutez une option de configuration pour le désactiver.
Stack technique
python
Domaine
backendmachine learning
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
Python
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60