Are all I-frame tokens intended to be preserved in the current implementation?
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 35/100
- issue の種類
- バグ
- 明瞭さ
- おおむね明確
- 活発さ
- 静か
- 技術スタック
- python
調査の方向性
Start by reading ap_dataloader_dali_codec.py, focusing on get_frame_id_list and compute_visible_indices_cpu. Trace how zeroed I-frame residuals affect patch scores, then compare that behavior with the paper's Equation (2); done means confirming whether I-frame tokens are preserved and documenting or correcting the mismatch.
索引モデルが issue の本文から書いたものです。
説明
Hi, thanks for the great work on this HEVC-based token selection pipeline. I have a question about how I-frames are handled in ap_dataloader_dali_codec.py.
My understanding from the paper is that all tokens from I-frames are preserved, while Top-K selection is only applied to P-frame patches based on codec-derived saliency. In particular, Equation (2) seems to describe the HEVC input as keeping the full patchified I-frame and applying the visibility mask only to decoded P-frames.
However, in get_frame_id_list, I noticed that residuals at I-frame positions are explicitly zeroed out:
if pos in I_pos_set:
residuals_y[pos] = np.zeros((H0, W0), dtype=dtype0 or np.uint8)
Since patch scores in compute_visible_indices_cpu are computed from residual energy, this seems to imply that all I-frame patches receive a score of 0 and therefore would not be selected by Top-K, except possibly through tie-breaking or the static_fallback path.
So I wanted to check whether I am misunderstanding the implementation, or whether the current code is using a different behavior from what I inferred from the paper. If I-frame tokens are indeed intended to be fully preserved, could you clarify where that happens in the pipeline?
Thanks!
- 主要言語
- Python
- スター
- 400
- フォーク
- 20
- PR マージ指標
- 30日以内にマージされた PR はありません
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
EvolvingLMMs-Lab/OneVision-Encoder のほかの issue
-
難易度 3/5 1〜2日 初心者へのやさしさ 35/100
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 45/100
-
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
EvolvingLMMs-Lab/OneVision-Encoder#116 · コメント 1 件 ·
-
難易度 3/5 1〜2日 初心者へのやさしさ 35/100
EvolvingLMMs-Lab/OneVision-Encoder#112 · コメント 1 件 ·
EvolvingLMMs-Lab/OneVision-Encoder の issue をすべて見る
似ている issue
-
agent-ready documentation needs-triage
難易度 1/5 1〜3時間 初心者へのやさしさ 88/100
-
documentation
難易度 1/5 1時間未満 初心者へのやさしさ 91/100
-
workflow-status page template still says reusable workflows are "triggered only by workflow_call:" オープン
難易度 1/5 1時間未満 初心者へのやさしさ 92/100
-
instance instance add
難易度 1/5 1時間未満 初心者へのやさしさ 72/100
searxng/searx-instances#939 · コメント 1 件 ·
-
area-deployment area-integrations triage:bot-seen
難易度 2/5 半日 初心者へのやさしさ 86/100