huggingface/diffusers

Support multiple control nets in the `StableDiffusionControlNetXSPipeline`/`StableDiffusionXLControlNetXSPipeline`

Offen

#8.434 geöffnet am 07.06.2024

Auf GitHub ansehenContributor Guide
 (9 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (4.562 Forks)batch import
community-examplescontributions-welcomegood first issue

Repository-Metriken

Stars
 (22.190 Sterne)
PR-Merge-Metriken
 (Durchschn. Merge 14T 10h) (101 gemergte PRs in 30 T)

Beschreibung

Is your feature request related to a problem? Please describe. The StableDiffusionControlNetPipeline/StableDiffusionXLControlNetPipeline allow you to specify a list of control nets (i.e. depth and canny)

However, the new ControlNetXS pipelines only allow you provide a single control net

Describe the solution you'd like. I want to be able to do:

vae = AutoencoderKL.from_pretrained("madebyollin/sdxl-vae-fp16-fix", torch_dtype=torch.float16)
canny_controlnet = ControlNetXSAdapter.from_pretrained(
    "UmerHA/Testing-ConrolNetXS-SDXL-canny", torch_dtype=torch.float16
)
depth_controlnet = ControlNetXSAdapter.from_pretrained(
    "UmerHA/Testing-ConrolNetXS-SDXL-depth", torch_dtype=torch.float16
)
pipe = StableDiffusionXLControlNetXSPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0", controlnet=[canny_controlnet, depth_controlnet], torch_dtype=torch.float16
)

Contributor Guide

Research-Richtung
Untersuchen Sie die Implementierung von StableDiffusionControlNetPipeline und StableDiffusionXLControlNetPipeline, um zu verstehen, wie sie eine Liste von Control Nets verarbeiten. Passen Sie dann die ControlNetXS Pipelines an, um ebenfalls eine Liste zu akzeptieren und die korrekte Handhabung mehrerer Adapter sicherzustellen.
Tech Stack
pythonpytorch
Domain
aimachine learning
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PythonPyTorchdiffusers
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
60