huggingface/diffusers

[Pipeline] AnimateDiff + SparseControl + ControlNet

Open

#9.329 aberto em 30 de ago. de 2024

Ver no GitHub
 (14 comments) (0 reactions) (0 assignees)Python (4.562 forks)batch import
community-examplesconsider-for-modular-diffuserscontributions-welcomegood first issue

Métricas do repositório

Stars
 (22.190 stars)
Métricas de merge de PR
 (Mesclagem média 13d 1h) (96 fundiu PRs em 30d)

Description

As the title suggests, we would like a pipeline that supports all three techniques. Currently, we have standalone pipelines for SparseCtrl and ControlNet. A combination of the two might be interesting to see!

Right now video prediction is hard to control as the new frames are highly dependent on the prompt, if we could use images we would have better/finer control. This pipeline would enable apps like Blender to generate new images based on past reference frames and a depth buffer.

Looking at the code it looks like this is doable but before I try, I would like to get the input and suggestions of more expert people on this possible approach (@a-r-r-o-w or @DN6 :) ):

  1. make pipeline_animatediff_sparsectrl.py and pipeline_animatediff_controlnet.py as similar as possible so diffing shows as much as common code as possible
  2. refactor the blocks of code that are different into functions
  3. have these functions work together in a new single pipeline

Does this make sense?

Guia do colaborador

Direção de pesquisa
Examine os pipelines SparseCtrl e ControlNet existentes no repositório diffusers (pipeline animatediff sparsectrl.py e pipeline animatediff controlnet.py). Revise a discussão nos comentários da issue para obter feedback dos mantenedores, especialmente de @a r r o w ou @DN6. A abordagem proposta envolve refatorar o código comum em funções e criar um pipeline combinado. Aguarde a orientação dos mantenedores antes de implementar para garantir que o design seja aceitável.
Pilha de tecnologia
pythonpytorch
Domain
aibackend
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PythonPyTorchDiffusers codebase
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
35