[REQ] Better VIDEO super resolution models

Đang mở
  • Có gì không ổn?
#23 2 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
20/100
Loại issue
Tính năng
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Đình trệ
Công nghệ
cpp
Lĩnh vực
computer-vision, machine-learning

Hướng nghiên cứu

Start by reviewing the existing RAISR implementation described for this C/C++ library, then evaluate the linked video super-resolution projects and their integration requirements. The issue does not name a target model, source entry point, tests, benchmark, or acceptance criteria, so the scope and definition of done need to be clarified before implementation.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Hi there,
just discovered this interesting HW-optimized library for IMAGE super resolution.

As well explained in this demo video for VideoGigaGAN (paper here) by University of Maryland/Adobe Research, there are multiple factors to consider for "correct" VIDEO super resolution inferencing:

https://github.com/videogigagan/videogigagan.github.io/raw/refs/heads/main/assets/videos/demo.mp4

Anyway, since VideoGigaGAN sources aren't available, I recommend you to "port" alternative (more contemporary, if possible) VIDEO processing-oriented algos for better/consistent results...
...here are some interesting projects - you can already exploit - to carefully evaluate:

  • StableVSR: Enhancing Perceptual Quality in Video Super-Resolution through Temporally-Consistent Detail Synthesis using Diffusion Models (paper);
  • FMA-Net: Flow-Guided Dynamic Filtering and Iterative Feature Refinement with Multi-Attention for Joint Video Super-Resolution and Deblurring (paper)
  • EvTexture: Event-driven Texture Enhancement for Video Super-Resolution (paper)
  • MIA-VSR: Video Super-Resolution Transformer with Masked Inter&Intra-Frame Attention (paper)
  • STVSR-NO: Space-Time Video Super-resolution with Neural Operator (paper);
  • STINet: Enhancing Space-time Video Super-resolution via Spatial-temporal Feature Interaction (paper);
  • GIRNet: Global Spatial-Temporal Information-based Residual ConvLSTM for Video Space-Time Super-Resolution (paper);
    ...

Resources collections:

Last but not least, I strongly suggest you to enable the Discussion section for this repository in order to let 3rd-party devs/users to exchange ideas & knowledge to push the evolution.

Hope that inspires.

Ngôn ngữ chính
C++
Star
93
Fork
14
Không có pull request nào được merge trong 30 ngày

Chuẩn bị môi trường

Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của OpenVisualCloud/Video-Super-Resolution-Library

Tất cả issue của OpenVisualCloud/Video-Super-Resolution-Library

Issue tương tự

Thêm issue về C++

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.