huggingface/diffusers

[Flux ControlNet] Add support for de-distilled models with CFG

Open

#9635 aperta il 10 ott 2024

Vedi su GitHub
 (11 commenti) (0 reazioni) (0 assegnatari)Python (4562 fork)batch import
contributions-welcomegood first issue

Metriche repository

Star
 (22.190 star)
Metriche merge PR
 (Merge medio 13g 1h) (96 PR mergiate in 30 g)

Descrizione

Flux with Inpaiting and ControlNet currently yields bad result with the base model.

To echo this comment, using de-distilled models could potentially help getting better outputs.

Currently the Flux ControlNet pipelines do not support models like https://huggingface.co/nyanko7/flux-dev-de-distill

Guida contributor

Direzione di ricerca
Esamina il codice della pipeline Flux ControlNet per capire come vengono caricati i modelli e applicato il CFG. Studia le differenze nell'architettura dei modelli de distillati e come adattare la pipeline per gestirli.
Tech stack
pythonpytorch
Dominio
machine learningai
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
PythonPyTorchDiffusers
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40