finetune stage2 of Internvideo2 with num_frames 12 error
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 25/100
- issue の種類
- バグ
- 明瞭さ
- 説明が足りない
- 活発さ
- 停滞
- 技術スタック
- python
調査の方向性
tasks/shared_utils.py の192行目、setup_model が state dict を読み込む箇所から始め、num_frames 12 で stage2 finetuning を再現します。vision_encoder.pos_embed について報告されたチェックポイントと現在のモデルの shape を比較し、修正後のロードパスが size-mismatch error なしで完了することを確認します。
索引モデルが issue の本文から書いたものです。
説明
When I try to finetune stage2 of Internvideo2 with num_frames 12, I meet the error below:
[rank0]: File "/root/nginx/multi_modality/tasks/shared_utils.py", line 192, in setup_model
[rank0]: msg = model_without_ddp.load_state_dict(state_dict, strict=False)
[rank0]: File "/usr/local/Python3.8.12/lib/python3.8/site-packages/torch/nn/modules/module.py", line 2215, in load_state_dict
[rank0]: raise RuntimeError('Error(s) in loading state_dict for {}:\n\t{}'.format(
[rank0]: RuntimeError: Error(s) in loading state_dict for InternVideo2_Stage2:
[rank0]: size mismatch for vision_encoder.pos_embed: copying a param with shape torch.Size([1, 1025, 1408]) from checkpoint, the shape in current model is torch.Size([1, 3073, 1408]).
How to solve it? Looking forward to your reply. Thanks.
- 主要言語
- Python
- スター
- 2.4k
- フォーク
- 160
- PR マージ指標
- 30日以内にマージされた PR はありません
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
OpenGVLab/InternVideo のほかの issue
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
OpenGVLab/InternVideo#324 · コメント 1 件 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 20/100
OpenGVLab/InternVideo#323 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
OpenGVLab/InternVideo#322 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 42/100
OpenGVLab/InternVideo#321 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
OpenGVLab/InternVideo#319 · コメント 1 件 ·
OpenGVLab/InternVideo の issue をすべて見る
似ている issue
-
essnmx good first issue
難易度 1/5 1時間未満 初心者へのやさしさ 95/100
-
[Feature] 奇物选择添加优先级 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
syfoud/Simulated_Scepter#174 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
Giskard-AI/giskard-oss#2840 · コメント 1 件 ·
-
A claim comment carrying the issue number is silently declined while the workflow reports success オープンarea: repo bug perceived difficulty: 2
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
yeti-platform/yeti#1380 ·