Attention-Guided Token Selection Algorithm in InternVideo 2.5
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 20/100
- issue の種類
- ドキュメント
- 明瞭さ
- 説明が足りない
- 活発さ
- 停滞
- 技術スタック
- python
調査の方向性
この issue では、InternVideo 2.5 の論文のセクション 3.1 を出発点として特定しています。そのセクションを確認し、リポジトリ内の対応する実装を見つけてください。attention-guided token-selection method を文書化し、Flash Attention 2 との互換性とメモリへの影響に対処できれば完了です。
索引モデルが issue の本文から書いたものです。
説明
Hi OpenGVLab team, thank you very much for all your excellent models.
In the InternVideo 2.5 paper section 3.1, it is mentioned that:
(1) uniform token pruning in early layers to maintain structural integrity while reducing computational overhead, and (2) attention-guided token selection in deeper layers to retain task-relevant essences.
Regarding the second point, attention-guided token selection, could you please share the specific method you used? Since this process involves attention weight, it may not be compatible with Flash Attention 2. Does this lead to excessive memory consumption?
- 主要言語
- Python
- スター
- 2.4k
- フォーク
- 160
- PR マージ指標
- 30日以内にマージされた PR はありません
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
OpenGVLab/InternVideo のほかの issue
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
OpenGVLab/InternVideo#324 · コメント 1 件 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 20/100
OpenGVLab/InternVideo#323 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
OpenGVLab/InternVideo#322 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 42/100
OpenGVLab/InternVideo#321 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
OpenGVLab/InternVideo#319 · コメント 1 件 ·
OpenGVLab/InternVideo の issue をすべて見る
似ている issue
-
essnmx good first issue
難易度 1/5 1時間未満 初心者へのやさしさ 95/100
-
[Feature] 奇物选择添加优先级 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
syfoud/Simulated_Scepter#174 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
Giskard-AI/giskard-oss#2840 · コメント 1 件 ·
-
A claim comment carrying the issue number is silently declined while the workflow reports success オープンarea: repo bug perceived difficulty: 2
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
yeti-platform/yeti#1380 ·