huggingface/diffusers

Support multiple control nets in the `StableDiffusionControlNetXSPipeline`/`StableDiffusionXLControlNetXSPipeline`

Open

#8434 aperta il 7 giu 2024

Vedi su GitHub
 (9 commenti) (0 reazioni) (0 assegnatari)Python (4562 fork)batch import
community-examplescontributions-welcomegood first issue

Metriche repository

Star
 (22.190 star)
Metriche merge PR
 (Merge medio 13g 1h) (96 PR mergiate in 30 g)

Descrizione

Is your feature request related to a problem? Please describe. The StableDiffusionControlNetPipeline/StableDiffusionXLControlNetPipeline allow you to specify a list of control nets (i.e. depth and canny)

However, the new ControlNetXS pipelines only allow you provide a single control net

Describe the solution you'd like. I want to be able to do:

vae = AutoencoderKL.from_pretrained("madebyollin/sdxl-vae-fp16-fix", torch_dtype=torch.float16)
canny_controlnet = ControlNetXSAdapter.from_pretrained(
    "UmerHA/Testing-ConrolNetXS-SDXL-canny", torch_dtype=torch.float16
)
depth_controlnet = ControlNetXSAdapter.from_pretrained(
    "UmerHA/Testing-ConrolNetXS-SDXL-depth", torch_dtype=torch.float16
)
pipe = StableDiffusionXLControlNetXSPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0", controlnet=[canny_controlnet, depth_controlnet], torch_dtype=torch.float16
)

Guida contributor

Direzione di ricerca
Esamina la pipeline StableDiffusionControlNetPipeline esistente per capire come gestisce una lista di controlnet. Analizza le implementazioni delle pipeline ControlNetXS (StableDiffusionControlNetXSPipeline e StableDiffusionXLControlNetXSPipeline) per identificare dove aggiungere il supporto per più controlnet. Concentrati sui metodi init e forward, e assicurati che i parametri condizionali come controlnet conditioning scale siano adattati di conseguenza.
Tech stack
pythonpytorch
Dominio
machine learningai
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonPyTorchfamiliarity with diffusers library
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
30