facebookresearch/fairseq

Add an option to disable appending eos to the end of each document while preprocessing

Open

#5.615 geöffnet am 26. Mai 2025

Auf GitHub ansehen
 (0 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (6.224 Forks)batch import
enhancementhelp wantedneeds triage

Repository-Metriken

Stars
 (29.107 Stars)
PR-Merge-Metriken
 (Keine gemergten PRs in 30 T)

Beschreibung

🚀 Feature Request

Add an option to disable appending EOS to the end of each document while preprocessing

Motivation

There are instances where adding EOS is not preferred like when packing data to sequence length.

Pitch

Proposing a change to add an argument to handle this

Contributor Guide

Research-Richtung
Suchen Sie nach Stellen, an denen EOS während der Vorverarbeitung an Dokumente angehängt wird. Typische Orte sind in der Wörterbuchkonstruktion von fairseq (z. B. `fairseq/data/dictionary.py`) oder in den Binarisierungsskripten (z. B. `fairseq cli/preprocess.py`). Die Lösung besteht darin, ein neues Argument (z. B. ` no append eos`) zur relevanten Vorverarbeitungsfunktion oder CLI Tool hinzuzufügen und das Hinzufügen von EOS Token bedingt zu überspringen.
Tech Stack
pythonpytorch
Domain
machine learning
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Frisch
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PythonPyTorchfairseq basics
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
70