[REQ] Better VIDEO super resolution models

オープン
#23 コメント 2 件 リアクション 0 件 担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度
5/5
見積もり時間
1週間以上
初心者へのやさしさ
20/100
issue の種類
機能追加
明瞭さ
説明が足りない
活発さ
停滞
技術スタック
cpp

調査の方向性

Start by reviewing the existing RAISR implementation described for this C/C++ library, then evaluate the linked video super-resolution projects and their integration requirements. The issue does not name a target model, source entry point, tests, benchmark, or acceptance criteria, so the scope and definition of done need to be clarified before implementation.

索引モデルが issue の本文から書いたものです。

説明

Hi there,
just discovered this interesting HW-optimized library for IMAGE super resolution.

As well explained in this demo video for VideoGigaGAN (paper here) by University of Maryland/Adobe Research, there are multiple factors to consider for "correct" VIDEO super resolution inferencing:

https://github.com/videogigagan/videogigagan.github.io/raw/refs/heads/main/assets/videos/demo.mp4

Anyway, since VideoGigaGAN sources aren't available, I recommend you to "port" alternative (more contemporary, if possible) VIDEO processing-oriented algos for better/consistent results...
...here are some interesting projects - you can already exploit - to carefully evaluate:

  • StableVSR: Enhancing Perceptual Quality in Video Super-Resolution through Temporally-Consistent Detail Synthesis using Diffusion Models (paper);
  • FMA-Net: Flow-Guided Dynamic Filtering and Iterative Feature Refinement with Multi-Attention for Joint Video Super-Resolution and Deblurring (paper)
  • EvTexture: Event-driven Texture Enhancement for Video Super-Resolution (paper)
  • MIA-VSR: Video Super-Resolution Transformer with Masked Inter&Intra-Frame Attention (paper)
  • STVSR-NO: Space-Time Video Super-resolution with Neural Operator (paper);
  • STINet: Enhancing Space-time Video Super-resolution via Spatial-temporal Feature Interaction (paper);
  • GIRNet: Global Spatial-Temporal Information-based Residual ConvLSTM for Video Space-Time Super-Resolution (paper);
    ...

Resources collections:

Last but not least, I strongly suggest you to enable the Discussion section for this repository in order to let 3rd-party devs/users to exchange ideas & knowledge to push the evolution.

Hope that inspires.

主要言語
C++
スター
92
フォーク
14
PR マージ指標
30日以内にマージされた PR はありません

環境構築

このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

OpenVisualCloud/Video-Super-Resolution-Library のほかの issue

OpenVisualCloud/Video-Super-Resolution-Library の issue をすべて見る

似ている issue

C++ の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。