InternVideo2 distilled CLIP models give poor retrieval performance — are fine-tuned text encoder weights available?

オープン

#317 2026年4月22日に作成コメント 0 件リアクション 0 件担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度: 5/5
見積もり時間: 1週間以上
初心者へのやさしさ: 25/100

issue の種類: 機能追加
明瞭さ: 説明が足りない
活発さ: 静か
領域: machine-learning

調査の方向性

InternVideo2蒸留モデルの手順から始め、参照されているHugging Faceチェックポイント（mobileclip_blt.ptおよびInternVideo2_CLIP_Sを含む）を比較します。メンテナーがファインチューニング済みのS14およびB14テキストエンコーダーチェックポイントの存在を確認し、可能であれば公開した時点でissueは解決となります。

索引モデルが issue の本文から書いたものです。

説明

Hello,

I've been testing the InternVideo2 distilled CLIP models for zero-shot text-to-video retrieval and found that clip/S14, clip/B14, and clip/L14 from https://huggingface.co/OpenGVLab/InternVideo2_distillation_models/tree/main/clip give surprisingly poor results.

I'm aware that the distillation checkpoints are deltas that need to be applied on top of the
corresponding stage2 backbone weights — I'm loading them that way. The issue seems to be on the text encoder side: the instructions pair
them with mobileclip_blt.pt, but I suspect this may be the original base weights rather than the text encoder fine-tuned during CLIP
contrastive training.

For clip/L14, I noticed that https://huggingface.co/OpenGVLab/InternVideo2_CLIP_S is self-contained and includes text encoder weights,
which suggests a fine-tuned text encoder does exist for at least the L14 variant.

Could you confirm whether fine-tuned text encoder checkpoints exist for S14 and B14, and if so, whether they could be released?

Thanks for the great work on InternVideo2!

主要言語: Python
スター: 2.4k
フォーク: 160
PR マージ指標: 30日以内にマージされた PR はありません

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

はじめの一歩

issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
リポジトリをフォークし、ブランチを切って変更します。
issue 番号を参照したプルリクエストを送ります。

OpenGVLab/InternVideo のほかの issue

Rights Holder Removal Request — Wild Adventure Girls Works in InternVid オープン

難易度 5/5 1週間以上初心者へのやさしさ 25/100

OpenGVLab/InternVideo#324 · コメント 1 件 · 2026年7月26日に作成
InternVideo2 stage-1 weights オープン

難易度 5/5 1週間以上初心者へのやさしさ 20/100

OpenGVLab/InternVideo#323 · 2026年7月10日に作成
Request to release multimodal finetuning for Internvideo3 オープン

難易度 5/5 1週間以上初心者へのやさしさ 25/100

OpenGVLab/InternVideo#322 · 2026年7月1日に作成
Fine-tuning on SSV2 with official 1B_ft_ssv2_f8.pth weights yields only ~2.78% Top-1 accuracy, loss barely decreases オープン

難易度 4/5 3〜5日初心者へのやさしさ 42/100

OpenGVLab/InternVideo#321 · 2026年6月24日に作成
Consider using pre-built Flash Attention kernels via `kernels` オープン

難易度 4/5 3〜5日初心者へのやさしさ 35/100

OpenGVLab/InternVideo#319 · コメント 1 件 · 2026年5月28日に作成

OpenGVLab/InternVideo の issue をすべて見る

似ている issue

slack-gif-creator: validate_gif() multiplies the last frame's duration by the frame count, so reported duration/fps are wrong (1.0s GIF reported as 1.8s) オープン

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

anthropics/skills#1811 · コメント 1 件 · 2026年9月23日に作成
App fails to start with gradio 6 (allowed by `gradio>=5.49.1`) オープン

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

speaches-ai/speaches#678 · 2026年9月23日に作成
ModuleNotFoundError: No module named 'mcp.server.fastmcp'. オープン

bug

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

datalayer/mcp-compose#42 · 2026年9月23日に作成
import spacy fails with ModuleNotFoundError: No module named 'click' オープン

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

conda-forge/spacy-feedstock#177 · 2026年9月23日に作成
humaneval: extract_function_body corrupts a fenced body-only reply, so the same correct code scores INCORRECT fenced and CORRECT unfenced オープン

難易度 2/5 1〜3時間初心者へのやさしさ 70/100

UKGovernmentBEIS/inspect_evals#2523 · 2026年9月23日に作成

Python の issue をもっと見る