Similarity Scores coming very low between the video and the text features.
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 25/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- jupyter-notebook, python
- Lĩnh vực
- computer-vision, machine-learning, search
Hướng nghiên cứu
Bắt đầu với InternVideo2/multi_modality/demo_video_text_retrieval.ipynb và tái hiện luồng truy xuất từ văn bản sang video bằng InternVideo2-stage2_1b-224p-f4.pt. Kiểm tra cách text_features và video_features được tạo ra và so sánh, sau đó xác định liệu các điểm số được báo cáo có đúng như kỳ vọng đối với dataset này hay không. Công việc được xem là hoàn tất khi nguyên nhân của các điểm số thấp được ghi lại hoặc một vấn đề có thể tái hiện được xác định.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Hi @leexinhao,
I am trying the text to video retrieval on my dataset using this https://github.com/OpenGVLab/InternVideo/blob/main/InternVideo2/multi_modality/demo_video_text_retrieval.ipynb, but the similarity scores are coming in very low between the text_features and the video_features. I am using this weight file InternVideo2-stage2_1b-224p-f4.pt and the cosine similarity I am computing by taking the dot product between the text_features and the video_features(text_features @ video_features.T).
array([0.08640765, 0.08618326, 0.08596011, 0.08578135, 0.08574679, 0.08564241, 0.08557957, 0.08552065, 0.08551717, 0.08548111], dtype=float32)
Thanks.
- Ngôn ngữ chính
- Python
- Star
- 2.4k
- Fork
- 160
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của OpenGVLab/InternVideo
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
OpenGVLab/InternVideo#324 · 1 bình luận ·
-
InternVideo2 stage-1 weights Đang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 20/100
OpenGVLab/InternVideo#323 ·
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
OpenGVLab/InternVideo#322 ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 42/100
OpenGVLab/InternVideo#321 ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
OpenGVLab/InternVideo#319 · 1 bình luận ·
Tất cả issue của OpenGVLab/InternVideo
Issue tương tự
-
essnmx good first issue
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 95/100
-
[Feature] 奇物选择添加优先级 Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100
syfoud/Simulated_Scepter#174 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
Giskard-AI/giskard-oss#2840 · 1 bình luận ·
-
A claim comment carrying the issue number is silently declined while the workflow reports success Đang mởarea: repo bug perceived difficulty: 2
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
yeti-platform/yeti#1380 ·