deforum/sd-webui-deforum

Use Inpainting for Consistency on Single Prompt Animations

Aperta

#120 aperta il 29 nov 2022

Vedi su GitHubGuida contributor
 (3 commenti) (0 reazioni) (0 assegnatari)Python (408 fork)auto 404
2D3Dduplicateenhancementhelp wanted

Metriche repository

Star
 (2854 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

I believe that Deforum videos of a single prompt would be more consistent if there was a mode that instead of generating a new frame, inpainted the missing details. For example for a 2D camera that is zooming in what it would do is keep all of the image the exact same (maybe with noise scheduling settings) except for the center which it would inpaint at a strength proportional to the zooming speed, so that the zoomed area would be in proper resolution. For a 3D rotating camera as another example, it would find the areas that MiDaS shows weren't in view last frame.

Guida contributor

Direzione di ricerca
Comprendere l'attuale pipeline di generazione dei fotogrammi in Deforum, quindi implementare l'inpainting per animazioni a singolo prompt riutilizzando il contenuto del fotogramma precedente e dipingendo solo le regioni che cambiano a causa del movimento della telecamera (zoom o rotazione). Usa la stima della profondità MiDaS per le rotazioni 3D per identificare le nuove aree.
Tech stack
python
Dominio
ai
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonStable DiffusionDeforum
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40