huggingface/diffusers

[Flux ControlNet] Add support for de-distilled models with CFG

Open

#9 635 ouverte le 10 oct. 2024

Voir sur GitHub
 (11 commentaires) (0 réactions) (0 assignés)Python (4 562 forks)batch import
contributions-welcomegood first issue

Métriques du dépôt

Stars
 (22 190 stars)
Métriques de merge PR
 (Merge moyen 13j 1h) (96 PRs mergées en 30 j)

Description

Flux with Inpaiting and ControlNet currently yields bad result with the base model.

To echo this comment, using de-distilled models could potentially help getting better outputs.

Currently the Flux ControlNet pipelines do not support models like https://huggingface.co/nyanko7/flux-dev-de-distill

Guide contributeur

Direction de recherche
Examinez le code du pipeline Flux ControlNet pour comprendre comment les modèles sont chargés et comment le CFG est appliqué. Étudiez les différences d'architecture des modèles dés distillés et comment adapter le pipeline pour les prendre en charge.
Stack technique
pythonpytorch
Domaine
machine learningai
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
PythonPyTorchDiffusers
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
40