huggingface/diffusers

Support multiple control nets in the `StableDiffusionControlNetXSPipeline`/`StableDiffusionXLControlNetXSPipeline`

Open

#8.434 geöffnet am 7. Juni 2024

Auf GitHub ansehen
 (9 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (4.562 Forks)batch import
community-examplescontributions-welcomegood first issue

Repository-Metriken

Stars
 (22.190 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 13T 1h) (96 gemergte PRs in 30 T)

Beschreibung

Is your feature request related to a problem? Please describe. The StableDiffusionControlNetPipeline/StableDiffusionXLControlNetPipeline allow you to specify a list of control nets (i.e. depth and canny)

However, the new ControlNetXS pipelines only allow you provide a single control net

Describe the solution you'd like. I want to be able to do:

vae = AutoencoderKL.from_pretrained("madebyollin/sdxl-vae-fp16-fix", torch_dtype=torch.float16)
canny_controlnet = ControlNetXSAdapter.from_pretrained(
    "UmerHA/Testing-ConrolNetXS-SDXL-canny", torch_dtype=torch.float16
)
depth_controlnet = ControlNetXSAdapter.from_pretrained(
    "UmerHA/Testing-ConrolNetXS-SDXL-depth", torch_dtype=torch.float16
)
pipe = StableDiffusionXLControlNetXSPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0", controlnet=[canny_controlnet, depth_controlnet], torch_dtype=torch.float16
)

Contributor Guide

Research-Richtung
Überprüfe die bestehende StableDiffusionControlNetPipeline, um zu verstehen, wie sie eine Liste von ControlNets verarbeitet. Untersuche die ControlNetXS Pipeline Implementierungen (StableDiffusionControlNetXSPipeline und StableDiffusionXLControlNetXSPipeline), um zu identifizieren, wo die Unterstützung für mehrere ControlNets hinzugefügt werden muss. Konzentriere dich auf die init und forward Methoden und stelle sicher, dass bedingte Parameter wie controlnet conditioning scale entsprechend angepasst werden.
Tech Stack
pythonpytorch
Domain
machine learningai
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PythonPyTorchfamiliarity with diffusers library
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
30