Multi-vector textual inversion uses only the first vector when the token has uppercase letters (transformers v5)

Offen Anfängerfreundlich
#15,313 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Maintainer antworten meist innerhalb von 1 Tag

@sunhouy arbeitet bereits daran.

Seit 18.11.2026.

  • #15335 von @sunhouy — offen

Bewertung

Schwierigkeit
2/5
Geschätzter Aufwand
1-3 Stunden
Anfängerfreundlichkeit
75/100
Issue-Typ
Bug
Klarheit
Klar beschrieben
Aktivitätsstatus
Aktiv
Tech-Stack
python, pytorch

Rechercherichtung

Beginne damit, _maybe_convert_prompt und die zugehörigen Tests für maybe_convert_prompt zu lesen. Reproduziere den Fehler mit einem Multi-Vektor-Textual-Inversion-Token, das Großbuchstaben enthält, und prüfe anschließend, wie das registrierte Token erkannt und ersetzt wird. Das Ziel ist erreicht, wenn Prompts, die das Token mit Großbuchstaben verwenden, zum Basistoken und allen nummerierten Vektoren erweitert werden; überprüfe dies mit einem Regressionstest für die Registrierung mit gemischter Groß- und Kleinschreibung sowie für den Prompttext.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

Describe the bug

With transformers v5, a multi-vector textual inversion embedding only contributes its first vector when its token contains uppercase letters. This happens both when the token is loaded that way (token="EasyNegative") and when it is written that way in the prompt (Neg for a token loaded as neg). No error or warning is raised.

maybe_convert_prompt should expand the token to <token> <token>_1 ... <token>_n before tokenizing. In v5, CLIPTokenizer matches added tokens case-insensitively and tokenize() returns them lowercased. But _maybe_convert_prompt looks the result up in tokenizer.added_tokens_encoder and replaces it in the prompt case-sensitively, so nothing gets expanded. With transformers 4.57.1, tokenize() returned the token as registered and the expansion worked.

Proposed fix: in _maybe_convert_prompt, find the registered token through its lowercased form and replace it case-insensitively. Happy to open a PR with a test if this approach works for you.

Reproduction
import torch
from diffusers import StableDiffusionPipeline

pipe = StableDiffusionPipeline.from_pretrained("hf-internal-testing/tiny-sd-pipe", safety_checker=None)
dim = pipe.text_encoder.config.hidden_size
pipe.load_textual_inversion(torch.randn(3, dim), token="MyToken")  # adds MyToken, MyToken_1, MyToken_2
pipe.load_textual_inversion(torch.randn(3, dim), token="neg")  # adds neg, neg_1, neg_2

for text in ["MyToken", "neg", "Neg"]:
    prompt = pipe.maybe_convert_prompt(text, pipe.tokenizer)  # what the pipeline passes to the tokenizer
    print(f"{text!r:10} -> {pipe.tokenizer.tokenize(prompt)}")

Output on main:

'MyToken'  -> ['mytoken']
'neg'      -> ['neg', 'neg_1', 'neg_2']
'Neg'      -> ['neg']

Expected: all three vectors in every case, e.g. 'MyToken' -> ['mytoken', 'mytoken_1', 'mytoken_2'].

Context

This affects embeddings made for A1111, which are referred to by their capitalized file name in prompts. For example, EasyNegative has 8 vectors. With the SD 1.5 tokenizer and the token loaded as EasyNegative, the prompt EasyNegative, blurry is expanded to 8 tokens with transformers 4.57.1 and stays a single token with 5.22.2.

Logs
No error or warning is raised.
System Info
  • 🤗 Diffusers version: 0.44.0.dev0 (main, 1dabc292d)
  • Platform: macOS-26.6.2-arm64-arm-64bit
  • Running on Google Colab?: No
  • Python version: 3.12.11
  • PyTorch version (GPU?): 2.15.0 (False)
  • Huggingface_hub version: 2.4.0
  • Transformers version: 5.22.2
  • Accelerate version: 1.15.0
  • PEFT version: 0.21.2
  • Safetensors version: 0.8.0
  • xFormers version: not installed
  • Accelerator: Apple M5 Pro
  • Using GPU in script?: No
  • Using distributed or parallel set-up in script?: No
Who can help?

@sayakpaul

Vorherrschende Sprache
Python
Sterne
34.9k
Forks
7.5k
Ø Merge
3 T. 16 Std.
Gemergte PRs (30 T.)
65

Entwicklungsumgebung

Erste Schritte

  1. Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
  3. Forken Sie das Repository und arbeiten Sie in einem Branch.
  4. Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus huggingface/diffusers

Alle Issues in huggingface/diffusers

Ähnliche Issues

Weitere Issues zu Python

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.