Gemma 2 / Mistral 7b v.1 issues
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 25/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- python
- Lĩnh vực
- ai, machine-learning
Hướng nghiên cứu
Start with the zero-shot evaluation flow and the compute_universal_function_vector function, then reproduce the top-1 accuracy results for Gemma 2 and Mistral 7B v0.1 across layers. Compare their indirect-effect aggregation and top-head selection with models that work; done means identifying and documenting the model-specific cause or providing a verified fix.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Hi, I have been running the zero-shot evaluation on several models. For models that don't already have a universal top head list, I compute the indirect effect scores for each abstractive task, and, for the tasks with 10-shot performance greater than the majority baseline, aggregate them. I then add the top k heads (k is roughly proportional to # heads in the model) list to the compute_universal_function_vector function. I then evaluate using these top heads. For most models, I seem to get good results. However, for gemma 2 (of all sizes) and Mistral 7b v.01, I almost always get a top-1 accuracy lower than 10%, with a score that doesn't change much between the layers. Do you know why the tests don't work with these models?
Thanks!
- Ngôn ngữ chính
- Python
- Star
- 200
- Fork
- 47
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của ericwtodd/function_vectors
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 20/100
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 35/100
ericwtodd/function_vectors#19 · 1 bình luận ·
Tất cả issue của ericwtodd/function_vectors
Issue tương tự
-
triage/confirmed
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
agentscope-ai/agentscope#2775 ·
-
comp/desktop P3 type/bug
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 92/100
NousResearch/hermes-agent#118866 ·
-
bug
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 90/100
apache/cloudstack#14222 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100