Similarity Scores coming very low between the video and the text features.

オープン

#255 2025年2月20日に作成コメント 2 件リアクション 0 件担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度: 4/5
見積もり時間: 3〜5日
初心者へのやさしさ: 25/100

issue の種類: バグ
明瞭さ: 説明が足りない
活発さ: 停滞
技術スタック: jupyter-notebook, python
領域: computer-vision, machine-learning, search

調査の方向性

InternVideo2/multi_modality/demo_video_text_retrieval.ipynb から始め、InternVideo2-stage2_1b-224p-f4.pt を使ってテキストから動画を検索するフローを再現してください。text_features と video_features がどのように生成され、比較されるかを確認し、その後、報告されているスコアがこのデータセットで期待されるものかどうかを明らかにしてください。低いスコアの原因を文書化するか、再現可能な問題を特定できれば完了です。

索引モデルが issue の本文から書いたものです。

説明

Hi @leexinhao,
I am trying the text to video retrieval on my dataset using this https://github.com/OpenGVLab/InternVideo/blob/main/InternVideo2/multi_modality/demo_video_text_retrieval.ipynb, but the similarity scores are coming in very low between the text_features and the video_features. I am using this weight file InternVideo2-stage2_1b-224p-f4.pt and the cosine similarity I am computing by taking the dot product between the text_features and the video_features(text_features @ video_features.T).
array([0.08640765, 0.08618326, 0.08596011, 0.08578135, 0.08574679, 0.08564241, 0.08557957, 0.08552065, 0.08551717, 0.08548111], dtype=float32)

Thanks.

主要言語: Python
スター: 2.4k
フォーク: 160
PR マージ指標: 30日以内にマージされた PR はありません

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

はじめの一歩

issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
リポジトリをフォークし、ブランチを切って変更します。
issue 番号を参照したプルリクエストを送ります。

OpenGVLab/InternVideo のほかの issue

Rights Holder Removal Request — Wild Adventure Girls Works in InternVid オープン

難易度 5/5 1週間以上初心者へのやさしさ 25/100

OpenGVLab/InternVideo#324 · コメント 1 件 · 2026年7月26日に作成
InternVideo2 stage-1 weights オープン

難易度 5/5 1週間以上初心者へのやさしさ 20/100

OpenGVLab/InternVideo#323 · 2026年7月10日に作成
Request to release multimodal finetuning for Internvideo3 オープン

難易度 5/5 1週間以上初心者へのやさしさ 25/100

OpenGVLab/InternVideo#322 · 2026年7月1日に作成
Fine-tuning on SSV2 with official 1B_ft_ssv2_f8.pth weights yields only ~2.78% Top-1 accuracy, loss barely decreases オープン

難易度 4/5 3〜5日初心者へのやさしさ 42/100

OpenGVLab/InternVideo#321 · 2026年6月24日に作成
Consider using pre-built Flash Attention kernels via `kernels` オープン

難易度 4/5 3〜5日初心者へのやさしさ 35/100

OpenGVLab/InternVideo#319 · コメント 1 件 · 2026年5月28日に作成

OpenGVLab/InternVideo の issue をすべて見る

似ている issue

slack-gif-creator: validate_gif() multiplies the last frame's duration by the frame count, so reported duration/fps are wrong (1.0s GIF reported as 1.8s) オープン

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

anthropics/skills#1811 · コメント 1 件 · 2026年9月23日に作成
App fails to start with gradio 6 (allowed by `gradio>=5.49.1`) オープン

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

speaches-ai/speaches#678 · 2026年9月23日に作成
ModuleNotFoundError: No module named 'mcp.server.fastmcp'. オープン

bug

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

datalayer/mcp-compose#42 · 2026年9月23日に作成
import spacy fails with ModuleNotFoundError: No module named 'click' オープン

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

conda-forge/spacy-feedstock#177 · 2026年9月23日に作成
humaneval: extract_function_body corrupts a fenced body-only reply, so the same correct code scores INCORRECT fenced and CORRECT unfenced オープン

難易度 2/5 1〜3時間初心者へのやさしさ 70/100

UKGovernmentBEIS/inspect_evals#2523 · 2026年9月23日に作成

Python の issue をもっと見る