NVIDIA/Megatron-LM

[BUG] GPT2BPETokenizer (and possibly others) missing decode and offsets methods

Open

#1 633 ouverte le 13 juin 2025

Voir sur GitHub
 (3 commentaires) (0 réactions) (0 assignés)Python (1 723 forks)batch import
bugcommunity-requestgood first issuemodule: data pipelinewaiting-on-customer

Métriques du dépôt

Stars
 (7 565 stars)
Métriques de merge PR
 (Merge moyen 12j 9h) (245 PRs mergées en 30 j)

Description

I've encountered an issue when running text generation with Megatron-LM. Apologies in advance if there are any mistakes — I'm a new user.

After successfully preprocessing the data using:

python tools/preprocess_data.py --tokenizer-type GPT2BPETokenizer

and completing pretraining, I tried running text generation using:

tools/run_text_generation_server.py

However, I received the following errors:

AttributeError: '_GPT2BPETokenizer' object has no attribute 'decode'
AttributeError: '_GPT2BPETokenizer' object has no attribute 'offsets'

These errors seem to originate from:

It seems like _GPT2BPETokenizer may be missing decode and offsets methods required by the inference script. Any guidance on how to resolve this would be greatly appreciated.

Guide contributeur

Direction de recherche
Stack technique
Domaine
Type d'issue
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Prérequis
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.