Attention-Guided Token Selection Algorithm in InternVideo 2.5

Đang mở

#302 mở ngày 10/8/2025 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó: 5/5
Thời gian dự kiến: Hơn một tuần
Mức phù hợp với người mới: 20/100

Loại issue: Tài liệu
Độ rõ ràng: Cần làm rõ
Mức độ hoạt động: Đình trệ
Công nghệ: python
Lĩnh vực: computer-vision, machine-learning

Hướng nghiên cứu

Issue xác định mục 3.1 trong paper về InternVideo 2.5 là điểm bắt đầu; hãy xem lại mục đó và tìm implementation tương ứng trong repository. Công việc được xem là hoàn tất khi phương pháp lựa chọn token có hướng dẫn bằng attention được ghi lại và khả năng tương thích của nó với Flash Attention 2 cùng các tác động đến bộ nhớ được giải quyết.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Hi OpenGVLab team, thank you very much for all your excellent models.

In the InternVideo 2.5 paper section 3.1, it is mentioned that:

(1) uniform token pruning in early layers to maintain structural integrity while reducing computational overhead, and (2) attention-guided token selection in deeper layers to retain task-relevant essences.

Regarding the second point, attention-guided token selection, could you please share the specific method you used? Since this process involves attention weight, it may not be compatible with Flash Attention 2. Does this lead to excessive memory consumption?

Ngôn ngữ chính: Python
Star: 2.4k
Fork: 160
Chỉ số merge pull request: Không có pull request nào được merge trong 30 ngày

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Bắt đầu từ đâu

Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
Fork repository và làm thay đổi trên một nhánh.
Mở pull request có tham chiếu số hiệu của issue.

Issue khác của OpenGVLab/InternVideo

Rights Holder Removal Request — Wild Adventure Girls Works in InternVid Đang mở

Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100

OpenGVLab/InternVideo#324 · 1 bình luận · Mở ngày 26/7/2026
InternVideo2 stage-1 weights Đang mở

Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 20/100

OpenGVLab/InternVideo#323 · Mở ngày 10/7/2026
Request to release multimodal finetuning for Internvideo3 Đang mở

Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100

OpenGVLab/InternVideo#322 · Mở ngày 1/7/2026
Fine-tuning on SSV2 with official 1B_ft_ssv2_f8.pth weights yields only ~2.78% Top-1 accuracy, loss barely decreases Đang mở

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 42/100

OpenGVLab/InternVideo#321 · Mở ngày 24/6/2026
Consider using pre-built Flash Attention kernels via `kernels` Đang mở

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100

OpenGVLab/InternVideo#319 · 1 bình luận · Mở ngày 28/5/2026

Tất cả issue của OpenGVLab/InternVideo

Issue tương tự

slack-gif-creator: validate_gif() multiplies the last frame's duration by the frame count, so reported duration/fps are wrong (1.0s GIF reported as 1.8s) Đang mở

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100

anthropics/skills#1811 · 1 bình luận · Mở ngày 23/9/2026
App fails to start with gradio 6 (allowed by `gradio>=5.49.1`) Đang mở

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100

speaches-ai/speaches#678 · Mở ngày 23/9/2026
ModuleNotFoundError: No module named 'mcp.server.fastmcp'. Đang mở

bug

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100

datalayer/mcp-compose#42 · Mở ngày 23/9/2026
import spacy fails with ModuleNotFoundError: No module named 'click' Đang mở

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100

conda-forge/spacy-feedstock#177 · Mở ngày 23/9/2026
humaneval: extract_function_body corrupts a fenced body-only reply, so the same correct code scores INCORRECT fenced and CORRECT unfenced Đang mở

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100

UKGovernmentBEIS/inspect_evals#2523 · Mở ngày 23/9/2026

Thêm issue về Python