`ZImageImg2ImgPipeline` / `ZImageInpaintPipeline`: explicit height/width different from the input image raises RuntimeError
Maintainer antworten meist innerhalb von 1 Tag
Bewertung
- Schwierigkeit
- 2/5
- Geschätzter Aufwand
- 1-3 Stunden
- Anfängerfreundlichkeit
- 70/100
- Issue-Typ
- Bug
- Klarheit
- Klar beschrieben
- Aktivitätsstatus
- Aktiv
- Bereich
- machine-learning
Rechercherichtung
Lies src/diffusers/pipelines/z_image/pipeline_z_image_img2img.py in der Nähe der Vorverarbeitung des Init-Bilds in Zeile 489 und des entsprechenden Inpainting-Codes in der Nähe von Zeile 673. Vergleiche, wie SD3, Flux, QwenImage und Chroma Dimensionen an image_processor.preprocess übergeben; reproduziere das Problem mit einem Eingabebild und unterschiedlichen height/width. Fertig ist es, wenn beide Pipelines die angeforderten Ausgabedimensionen ohne Größenabweichung akzeptieren.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
Describe the bug
In ZImageImg2ImgPipeline and ZImageInpaintPipeline, passing height/width that differ from the input image size raises a size-mismatch RuntimeError, although the docstring says they set the output size. The init image is preprocessed without them (img2img L489, inpaint L673), so it is never resized and keeps its original size, while the noise shape uses height/width. Other pipelines that take height/width (SD3, Flux, QwenImage, Chroma) pass them to image_processor.preprocess, which resizes the image first. In the inpaint pipeline the mask is already resized this way, only the image is not.
Also, passing more images than prompts (e.g. two images with one prompt string) fails with a bare AssertionError in the transformer; a clear ValueError might help.
I'm not sure whether this is intended behavior of the pipeline or an actual bug. If it is a bug, I'd be happy to open a PR that passes height/width to preprocess (and adds the ValueError above, if wanted). Would that be appropriate?
Reproduction
import torch
from PIL import Image
from diffusers import ZImageImg2ImgPipeline
pipe = ZImageImg2ImgPipeline.from_pretrained(
"Tongyi-MAI/Z-Image-Turbo", torch_dtype=torch.bfloat16
).to("cuda")
img = Image.new("RGB", (256, 256))
# Works without height/width (output 256x256).
# With height/width != image size it raises:
# RuntimeError: The size of tensor a (16) must match the size of tensor b (32)
pipe("a cat", image=img, height=128, width=128,
num_inference_steps=4, strength=0.6, guidance_scale=0.0)
Context
I'm building an app that runs image-to-image and inpainting on user images of various sizes, with a target output size chosen by the user. SD3 / SD3 Inpaint and Flux Img2Img / Inpaint work fine with explicit height/width, but Z-Image Img2Img / Inpaint raise the error above.
Logs
File ".../pipeline_z_image_img2img.py", line 345, in prepare_latents
latents = self.scheduler.scale_noise(image_latents, timestep, noise)
File ".../scheduling_flow_match_euler_discrete.py", line 234, in scale_noise
sample = sigma * noise + (1.0 - sigma) * sample
RuntimeError: The size of tensor a (16) must match the size of tensor b (32) at non-singleton dimension 3
System Info
- 🤗 Diffusers version: 0.44.0.dev0
- Platform: Linux-7.0.0-38-generic-x86_64-with-glibc2.39
- Running on Google Colab?: No
- Python version: 3.12.3
- PyTorch version (GPU?): 2.16.0a0+rocm10.3.0a20261117 (True)
- Huggingface_hub version: 2.4.0
- Transformers version: 5.23.0
- Accelerate version: 1.16.0
- PEFT version: not installed
- Safetensors version: 0.8.0
- xFormers version: not installed
- Accelerator: NA
- Using GPU in script?: Yes (AMD Radeon AI PRO R9700)
- Using distributed or parallel set-up in script?: No
diffusers main @ e84bda1
Who can help?
@yiyixuxu @sayakpaul
- Vorherrschende Sprache
- Python
- Sterne
- 34.9k
- Forks
- 7.5k
- Ø Merge
- 3 T. 16 Std.
- Gemergte PRs (30 T.)
- 65
Entwicklungsumgebung
- Kein Dockerfile und keine Docker-Compose-Datei
- Hat eine Pull-Request-Vorlage
- Beitragsleitfaden lesen
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus huggingface/diffusers
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 84/100
huggingface/diffusers#15363 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Multi-vector textual inversion uses only the first vector when the token has uppercase letters (transformers v5)Evtl. vergeben @sunhouy hat das vor 2 Tagen übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 75/100
huggingface/diffusers#15313 ·
Maintainer antworten meist innerhalb von 1 Tag
-
TCDScheduler advances the generator on the final step of a strength-truncated custom scheduleEvtl. vergeben @SIDDARTHAREDDY8 hat das vor 5 Tagen übernommen. Offenbug
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 74/100
huggingface/diffusers#15288 · 2 Kommentare ·
Maintainer antworten meist innerhalb von 1 Tag
-
unload_textual_inversion(token) leaves the extra tokens of a multi-vector embedding behind, so it can't be loaded againEvtl. vergeben @sohailshk hat das vor 11 Tagen übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
huggingface/diffusers#15211 · 3 Kommentare ·
Maintainer antworten meist innerhalb von 1 Tag
-
set_ip_adapter_scale(float) raises "Cannot assign 1 scale_configs to 2 IP-Adapter" when several IP-Adapters are loadedEvtl. vergeben @sohailshk hat das vor 11 Tagen übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 82/100
huggingface/diffusers#15210 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 1 Tag
Alle Issues in huggingface/diffusers
Ähnliche Issues
-
[dbt] exported dataset keys reference physical columnsEvtl. vergeben @WilliamKelley hat das heute übernommen. Offenneeds-triage
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100
apache/ossie-converters#251 ·
Maintainer antworten meist innerhalb von 2 Tagen
-
cli difficulty: easy enhancement
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 82/100
Maintainer antworten meist innerhalb von 2 Tagen
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 62/100
desec-io/desec-stack#1312 ·
Maintainer antworten meist innerhalb von 14 Tagen
-
needs-triage
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 82/100
aws/aws-durable-execution-sdk-python#977 ·
Maintainer antworten meist innerhalb von 1 Tag
-
needs-triage
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 88/100
flashinfer-ai/flashinfer#9803 ·
Maintainer antworten meist innerhalb von 1 Tag