huggingface/diffusers

Add SUPIR Upscaler

Open

#7.219 aberto em 5 de mar. de 2024

Ver no GitHub
 (36 comments) (14 reactions) (0 assignees)Python (4.562 forks)batch import
New pipeline/modelcontributions-welcomehelp wanted

Métricas do repositório

Stars
 (22.190 stars)
Métricas de merge de PR
 (Mesclagem média 13d 1h) (96 fundiu PRs em 30d)

Description

Model/Pipeline/Scheduler description

SUPIR is a super-resolution model that looks like it produces excellent results

Github Repo: https://github.com/Fanghua-Yu/SUPIR

The model is quite memory intensive, so the optimisation features available in diffusers might be quite helpful in making this accessible to lower resource GPUs.

Open source status

  • The model implementation is available.
  • The model weights are available (Only relevant if addition is not a scheduler).

Provide useful links for the implementation

No response

Guia do colaborador

Direção de pesquisa
Comece examinando os pipelines de difusão existentes no diretório `src/diffusers/pipelines`, particularmente pipelines de upscaling semelhantes como `stable diffusion` ou `controlnet`. Revise a arquitetura do modelo SUPIR em seu repositório GitHub para entender os componentes necessários. O problema menciona restrições de memória, portanto, considere implementar com suporte para offload de extração de características ou usando `torch.compile` para otimização.
Pilha de tecnologia
pythonpytorch
Domain
machine learningai
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
4
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Mais de 1 semana
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PyTorch knowledgediffusers codebase familiaritydiffusion model basics
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
25