[REQ] Better VIDEO super resolution models

Aberta
  • Algo errado?
#23 2 comentários 0 reações 0 responsáveis Ver no GitHub

Ninguém assumiu esta issue ainda.

Avaliação

Dificuldade
5/5
Tempo estimado
Mais de uma semana
Facilidade para iniciantes
20/100
Tipo de issue
Funcionalidade
Clareza
Precisa de esclarecimento
Status de atividade
Estagnada
Stack de tecnologia
cpp
Domínio
computer-vision, machine-learning

Direção de pesquisa

Start by reviewing the existing RAISR implementation described for this C/C++ library, then evaluate the linked video super-resolution projects and their integration requirements. The issue does not name a target model, source entry point, tests, benchmark, or acceptance criteria, so the scope and definition of done need to be clarified before implementation.

Escrita pelo modelo de indexação a partir do texto da issue.

Descrição

Hi there,
just discovered this interesting HW-optimized library for IMAGE super resolution.

As well explained in this demo video for VideoGigaGAN (paper here) by University of Maryland/Adobe Research, there are multiple factors to consider for "correct" VIDEO super resolution inferencing:

https://github.com/videogigagan/videogigagan.github.io/raw/refs/heads/main/assets/videos/demo.mp4

Anyway, since VideoGigaGAN sources aren't available, I recommend you to "port" alternative (more contemporary, if possible) VIDEO processing-oriented algos for better/consistent results...
...here are some interesting projects - you can already exploit - to carefully evaluate:

  • StableVSR: Enhancing Perceptual Quality in Video Super-Resolution through Temporally-Consistent Detail Synthesis using Diffusion Models (paper);
  • FMA-Net: Flow-Guided Dynamic Filtering and Iterative Feature Refinement with Multi-Attention for Joint Video Super-Resolution and Deblurring (paper)
  • EvTexture: Event-driven Texture Enhancement for Video Super-Resolution (paper)
  • MIA-VSR: Video Super-Resolution Transformer with Masked Inter&Intra-Frame Attention (paper)
  • STVSR-NO: Space-Time Video Super-resolution with Neural Operator (paper);
  • STINet: Enhancing Space-time Video Super-resolution via Spatial-temporal Feature Interaction (paper);
  • GIRNet: Global Spatial-Temporal Information-based Residual ConvLSTM for Video Space-Time Super-Resolution (paper);
    ...

Resources collections:

Last but not least, I strongly suggest you to enable the Discussion section for this repository in order to let 3rd-party devs/users to exchange ideas & knowledge to push the evolution.

Hope that inspires.

Linguagem predominante
C++
Estrelas
93
Forks
14
Nenhum PR com merge em 30d

Preparar o ambiente

Este projeto não oferece contêiner de desenvolvimento, Dockerfile nem guia de contribuição, então a configuração fica por sua conta: comece pelo README e veja nosso guia da primeira contribuição para os passos gerais.

Primeiros passos

  1. Leia a issue inteira e depois o guia de contribuição do projeto.
  2. Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
  3. Faça um fork do repositório e trabalhe em uma branch.
  4. Abra um pull request que referencie o número da issue.

Mais de OpenVisualCloud/Video-Super-Resolution-Library

Todas as issues de OpenVisualCloud/Video-Super-Resolution-Library

Issues semelhantes

Mais issues de C++

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.