Add a model-agnostic evaluation harness for the QA/MCQ/RRB benchmarks
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 55/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Ít trao đổi
- Công nghệ
- python
- Lĩnh vực
- machine-learning, testing
Hướng nghiên cứu
Start with the existing generate-* and benchmark-* entry points and the shipped QA, MCQ, and RRB JSONL datasets. Reuse the existing LiteLLM dependency and define the CLI behavior for eval-qa, eval-mcq, and eval-rrb, including --dry-run. Done means reporting the requested QA, MCQ, and RRB metrics over the analyzed_tools pool without reproducing trained-ToolGen Rc@50.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Thanks for open-sourcing ToolSense — the QA, MCQ, and Realistic Retrieval datasets are a really useful resource. I noticed the repo currently exposes generation entry points only (generate-*, benchmark-*), so a downstream user has the data and the paper's headline metrics but no turnkey way to score a model on them.
I'd like to contribute a small evaluate/ module + CLI (eval-qa / eval-mcq / eval-rrb) that loads the shipped JSONL and reports QA vs. 50% / MCQ vs. 25% / RRB Recall@k, hit-rate, MRR, and nDCG over the analyzed_tools pool, reusing the existing LiteLLM dependency and adding a no-LLM --dry-run mode for CI. It's an inference-only, in-context scorer — explicitly not a reproduction of the trained-ToolGen Rc@50.
I'm happy to implement this and open a PR; just let me know if you'd welcome the contribution and want to assign the issue to me.
- Ngôn ngữ chính
- Python
- Star
- 1
- Fork
- 3
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Không có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của SAP/toolsense
Tất cả issue của SAP/toolsense
Issue tương tự
-
ReadQwen3PaperTask5 rejects correct answers that differ only in order, case, or underscore formCó thể đã có người làm @Kingpython123 đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 90/100
Tongyi-MAI/MobileWorld#72 ·
-
_threads/application: Update typing annotations using `pyupgrade --py311-plus`Có thể đã có người làm @gudnimg đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Health probes return 401 when authentication is enabled and the API is served under /orbCó thể đã có người làm @fgogolli đã nhận hôm nay. Đang mởarea: api priority: p2 size: S type: bug
Độ khó 2/5 Nửa ngày Mức phù hợp với người mới 75/100
finos/open-resource-broker#704 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 74/100
BCDA-APS/polar-bits#93 ·
-
bug
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 90/100
GoogleCloudPlatform/gce-rescue#218 ·
Maintainer thường phản hồi trong vòng 2 ngày