Multi-vector textual inversion uses only the first vector when the token has uppercase letters (transformers v5)

Ouverte Adaptée aux débutants
#15,313 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Les mainteneurs répondent en général sous 1 jour

@sunhouy y travaille déjà.

Depuis le 18/11/2026.

  • #15335 par @sunhouy — ouverte

Évaluation

Difficulté
2/5
Temps estimé
1-3 heures
Accessibilité débutants
75/100
Type d'issue
Bug
Clarté
Clairement spécifiée
Activité
Active
Stack technique
python, pytorch

Piste de recherche

Commencez par lire _maybe_convert_prompt et les tests associés à maybe_convert_prompt. Reproduisez le problème avec un jeton d’inversion textuelle à vecteurs multiples contenant des majuscules, puis vérifiez comment le jeton enregistré est reconnu et remplacé. Le résultat attendu est que les prompts utilisant le jeton avec des majuscules soient développés en jeton de base et en tous les vecteurs numérotés ; vérifiez-le avec un test de régression pour l’enregistrement comportant un mélange de majuscules et de minuscules, ainsi que pour le texte du prompt.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

Describe the bug

With transformers v5, a multi-vector textual inversion embedding only contributes its first vector when its token contains uppercase letters. This happens both when the token is loaded that way (token="EasyNegative") and when it is written that way in the prompt (Neg for a token loaded as neg). No error or warning is raised.

maybe_convert_prompt should expand the token to <token> <token>_1 ... <token>_n before tokenizing. In v5, CLIPTokenizer matches added tokens case-insensitively and tokenize() returns them lowercased. But _maybe_convert_prompt looks the result up in tokenizer.added_tokens_encoder and replaces it in the prompt case-sensitively, so nothing gets expanded. With transformers 4.57.1, tokenize() returned the token as registered and the expansion worked.

Proposed fix: in _maybe_convert_prompt, find the registered token through its lowercased form and replace it case-insensitively. Happy to open a PR with a test if this approach works for you.

Reproduction
import torch
from diffusers import StableDiffusionPipeline

pipe = StableDiffusionPipeline.from_pretrained("hf-internal-testing/tiny-sd-pipe", safety_checker=None)
dim = pipe.text_encoder.config.hidden_size
pipe.load_textual_inversion(torch.randn(3, dim), token="MyToken")  # adds MyToken, MyToken_1, MyToken_2
pipe.load_textual_inversion(torch.randn(3, dim), token="neg")  # adds neg, neg_1, neg_2

for text in ["MyToken", "neg", "Neg"]:
    prompt = pipe.maybe_convert_prompt(text, pipe.tokenizer)  # what the pipeline passes to the tokenizer
    print(f"{text!r:10} -> {pipe.tokenizer.tokenize(prompt)}")

Output on main:

'MyToken'  -> ['mytoken']
'neg'      -> ['neg', 'neg_1', 'neg_2']
'Neg'      -> ['neg']

Expected: all three vectors in every case, e.g. 'MyToken' -> ['mytoken', 'mytoken_1', 'mytoken_2'].

Context

This affects embeddings made for A1111, which are referred to by their capitalized file name in prompts. For example, EasyNegative has 8 vectors. With the SD 1.5 tokenizer and the token loaded as EasyNegative, the prompt EasyNegative, blurry is expanded to 8 tokens with transformers 4.57.1 and stays a single token with 5.22.2.

Logs
No error or warning is raised.
System Info
  • 🤗 Diffusers version: 0.44.0.dev0 (main, 1dabc292d)
  • Platform: macOS-26.6.2-arm64-arm-64bit
  • Running on Google Colab?: No
  • Python version: 3.12.11
  • PyTorch version (GPU?): 2.15.0 (False)
  • Huggingface_hub version: 2.4.0
  • Transformers version: 5.22.2
  • Accelerate version: 1.15.0
  • PEFT version: 0.21.2
  • Safetensors version: 0.8.0
  • xFormers version: not installed
  • Accelerator: Apple M5 Pro
  • Using GPU in script?: No
  • Using distributed or parallel set-up in script?: No
Who can help?

@sayakpaul

Langage dominant
Python
Étoiles
34.9k
Forks
7.5k
Merge moyen
3 j 16 h
PR mergées (30 j)
65

Préparer son environnement

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de huggingface/diffusers

Toutes les issues de huggingface/diffusers

Issues similaires

Plus d'issues Python

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.