Multi-vector textual inversion uses only the first vector when the token has uppercase letters (transformers v5)
Les mainteneurs répondent en général sous 1 jour
Évaluation
- Difficulté
- 2/5
- Temps estimé
- 1-3 heures
- Accessibilité débutants
- 75/100
- Type d'issue
- Bug
- Clarté
- Clairement spécifiée
- Activité
- Active
- Domaine
- backend, machine-learning
Piste de recherche
Commencez par lire _maybe_convert_prompt et les tests associés à maybe_convert_prompt. Reproduisez le problème avec un jeton d’inversion textuelle à vecteurs multiples contenant des majuscules, puis vérifiez comment le jeton enregistré est reconnu et remplacé. Le résultat attendu est que les prompts utilisant le jeton avec des majuscules soient développés en jeton de base et en tous les vecteurs numérotés ; vérifiez-le avec un test de régression pour l’enregistrement comportant un mélange de majuscules et de minuscules, ainsi que pour le texte du prompt.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
Describe the bug
With transformers v5, a multi-vector textual inversion embedding only contributes its first vector when its token contains uppercase letters. This happens both when the token is loaded that way (token="EasyNegative") and when it is written that way in the prompt (Neg for a token loaded as neg). No error or warning is raised.
maybe_convert_prompt should expand the token to <token> <token>_1 ... <token>_n before tokenizing. In v5, CLIPTokenizer matches added tokens case-insensitively and tokenize() returns them lowercased. But _maybe_convert_prompt looks the result up in tokenizer.added_tokens_encoder and replaces it in the prompt case-sensitively, so nothing gets expanded. With transformers 4.57.1, tokenize() returned the token as registered and the expansion worked.
Proposed fix: in _maybe_convert_prompt, find the registered token through its lowercased form and replace it case-insensitively. Happy to open a PR with a test if this approach works for you.
Reproduction
import torch
from diffusers import StableDiffusionPipeline
pipe = StableDiffusionPipeline.from_pretrained("hf-internal-testing/tiny-sd-pipe", safety_checker=None)
dim = pipe.text_encoder.config.hidden_size
pipe.load_textual_inversion(torch.randn(3, dim), token="MyToken") # adds MyToken, MyToken_1, MyToken_2
pipe.load_textual_inversion(torch.randn(3, dim), token="neg") # adds neg, neg_1, neg_2
for text in ["MyToken", "neg", "Neg"]:
prompt = pipe.maybe_convert_prompt(text, pipe.tokenizer) # what the pipeline passes to the tokenizer
print(f"{text!r:10} -> {pipe.tokenizer.tokenize(prompt)}")
Output on main:
'MyToken' -> ['mytoken']
'neg' -> ['neg', 'neg_1', 'neg_2']
'Neg' -> ['neg']
Expected: all three vectors in every case, e.g. 'MyToken' -> ['mytoken', 'mytoken_1', 'mytoken_2'].
Context
This affects embeddings made for A1111, which are referred to by their capitalized file name in prompts. For example, EasyNegative has 8 vectors. With the SD 1.5 tokenizer and the token loaded as EasyNegative, the prompt EasyNegative, blurry is expanded to 8 tokens with transformers 4.57.1 and stays a single token with 5.22.2.
Logs
No error or warning is raised.
System Info
- 🤗 Diffusers version: 0.44.0.dev0 (main, 1dabc292d)
- Platform: macOS-26.6.2-arm64-arm-64bit
- Running on Google Colab?: No
- Python version: 3.12.11
- PyTorch version (GPU?): 2.15.0 (False)
- Huggingface_hub version: 2.4.0
- Transformers version: 5.22.2
- Accelerate version: 1.15.0
- PEFT version: 0.21.2
- Safetensors version: 0.8.0
- xFormers version: not installed
- Accelerator: Apple M5 Pro
- Using GPU in script?: No
- Using distributed or parallel set-up in script?: No
Who can help?
@sayakpaul
- Langage dominant
- Python
- Étoiles
- 34.9k
- Forks
- 7.5k
- Merge moyen
- 3 j 16 h
- PR mergées (30 j)
- 65
Préparer son environnement
- Aucun Dockerfile ni fichier Docker Compose
- Propose un modèle de pull request
- Lire le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de huggingface/diffusers
-
Difficulté 2/5 1-3 heures Accessibilité débutants 84/100
huggingface/diffusers#15363 ·
Les mainteneurs répondent en général sous 1 jour
-
`ZImageImg2ImgPipeline` / `ZImageInpaintPipeline`: explicit height/width different from the input image raises RuntimeErrorPeut-être pris @chessing234 l’a pris aujourd’hui. Ouvertebug
Difficulté 2/5 1-3 heures Accessibilité débutants 70/100
huggingface/diffusers#15337 · 2 commentaires ·
Les mainteneurs répondent en général sous 1 jour
-
TCDScheduler advances the generator on the final step of a strength-truncated custom schedulePeut-être pris @SIDDARTHAREDDY8 l’a pris il y a 5 jours. Ouvertebug
Difficulté 2/5 1-3 heures Accessibilité débutants 74/100
huggingface/diffusers#15288 · 2 commentaires ·
Les mainteneurs répondent en général sous 1 jour
-
unload_textual_inversion(token) leaves the extra tokens of a multi-vector embedding behind, so it can't be loaded againPeut-être pris @sohailshk l’a pris il y a 11 jours. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
huggingface/diffusers#15211 · 3 commentaires ·
Les mainteneurs répondent en général sous 1 jour
-
set_ip_adapter_scale(float) raises "Cannot assign 1 scale_configs to 2 IP-Adapter" when several IP-Adapters are loadedPeut-être pris @sohailshk l’a pris il y a 11 jours. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 82/100
huggingface/diffusers#15210 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
Toutes les issues de huggingface/diffusers
Issues similaires
-
[dbt] exported dataset keys reference physical columnsPeut-être pris @WilliamKelley l’a pris aujourd’hui. Ouverteneeds-triage
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
apache/ossie-converters#251 ·
Les mainteneurs répondent en général sous 2 jours
-
cli difficulty: easy enhancement
Difficulté 2/5 1-3 heures Accessibilité débutants 82/100
Les mainteneurs répondent en général sous 2 jours
-
Difficulté 2/5 1-3 heures Accessibilité débutants 62/100
desec-io/desec-stack#1312 ·
Les mainteneurs répondent en général sous 14 jours
-
needs-triage
Difficulté 2/5 1-3 heures Accessibilité débutants 82/100
aws/aws-durable-execution-sdk-python#977 ·
Les mainteneurs répondent en général sous 1 jour
-
needs-triage
Difficulté 1/5 Moins d'une heure Accessibilité débutants 88/100
flashinfer-ai/flashinfer#9803 ·
Les mainteneurs répondent en général sous 1 jour