huggingface/diffusers

Add SUPIR Upscaler

Open

#7219 aperta il 5 mar 2024

Vedi su GitHub
 (36 commenti) (14 reazioni) (0 assegnatari)Python (4562 fork)batch import
New pipeline/modelcontributions-welcomehelp wanted

Metriche repository

Star
 (22.190 star)
Metriche merge PR
 (Merge medio 13g 1h) (96 PR mergiate in 30 g)

Descrizione

Model/Pipeline/Scheduler description

SUPIR is a super-resolution model that looks like it produces excellent results

Github Repo: https://github.com/Fanghua-Yu/SUPIR

The model is quite memory intensive, so the optimisation features available in diffusers might be quite helpful in making this accessible to lower resource GPUs.

Open source status

  • The model implementation is available.
  • The model weights are available (Only relevant if addition is not a scheduler).

Provide useful links for the implementation

No response

Guida contributor

Direzione di ricerca
Inizia esaminando le pipeline di diffusione esistenti nella directory `src/diffusers/pipelines`, in particolare pipeline di upscaling simili come `stable diffusion` o `controlnet`. Rivedi l'architettura del modello SUPIR nel suo repository GitHub per comprendere i componenti necessari. Il problema menziona vincoli di memoria, quindi considera di implementare con supporto per l'offload dell'estrazione delle feature o utilizzando `torch.compile` per l'ottimizzazione.
Tech stack
pythonpytorch
Dominio
machine learningai
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
4
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Oltre 1 settimana
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PyTorch knowledgediffusers codebase familiaritydiffusion model basics
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
25