[REQ] Better VIDEO super resolution models

Ouverte
  • Quelque chose ne va pas ?
#23 2 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

Évaluation

Difficulté
5/5
Temps estimé
Plus d'une semaine
Accessibilité débutants
20/100
Type d'issue
Fonctionnalité
Clarté
À clarifier
Activité
À l'abandon
Stack technique
cpp
Domaine
computer-vision, machine-learning

Piste de recherche

Start by reviewing the existing RAISR implementation described for this C/C++ library, then evaluate the linked video super-resolution projects and their integration requirements. The issue does not name a target model, source entry point, tests, benchmark, or acceptance criteria, so the scope and definition of done need to be clarified before implementation.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

Hi there,
just discovered this interesting HW-optimized library for IMAGE super resolution.

As well explained in this demo video for VideoGigaGAN (paper here) by University of Maryland/Adobe Research, there are multiple factors to consider for "correct" VIDEO super resolution inferencing:

https://github.com/videogigagan/videogigagan.github.io/raw/refs/heads/main/assets/videos/demo.mp4

Anyway, since VideoGigaGAN sources aren't available, I recommend you to "port" alternative (more contemporary, if possible) VIDEO processing-oriented algos for better/consistent results...
...here are some interesting projects - you can already exploit - to carefully evaluate:

  • StableVSR: Enhancing Perceptual Quality in Video Super-Resolution through Temporally-Consistent Detail Synthesis using Diffusion Models (paper);
  • FMA-Net: Flow-Guided Dynamic Filtering and Iterative Feature Refinement with Multi-Attention for Joint Video Super-Resolution and Deblurring (paper)
  • EvTexture: Event-driven Texture Enhancement for Video Super-Resolution (paper)
  • MIA-VSR: Video Super-Resolution Transformer with Masked Inter&Intra-Frame Attention (paper)
  • STVSR-NO: Space-Time Video Super-resolution with Neural Operator (paper);
  • STINet: Enhancing Space-time Video Super-resolution via Spatial-temporal Feature Interaction (paper);
  • GIRNet: Global Spatial-Temporal Information-based Residual ConvLSTM for Video Space-Time Super-Resolution (paper);
    ...

Resources collections:

Last but not least, I strongly suggest you to enable the Discussion section for this repository in order to let 3rd-party devs/users to exchange ideas & knowledge to push the evolution.

Hope that inspires.

Langage dominant
C++
Étoiles
93
Forks
14
Aucune PR mergée en 30 j

Préparer son environnement

Ce projet ne fournit ni conteneur de développement, ni Dockerfile, ni guide de contribution : l'installation est à votre charge. Commencez par son README, et consultez notre guide de la première contribution pour les étapes générales.

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de OpenVisualCloud/Video-Super-Resolution-Library

Toutes les issues de OpenVisualCloud/Video-Super-Resolution-Library

Issues similaires

Plus d'issues C++

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.