Add a model-agnostic evaluation harness for the QA/MCQ/RRB benchmarks
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 55/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Tranquilla
- Stack tecnologico
- python
- Ambito
- machine-learning, testing
Direzione di ricerca
Start with the existing generate-* and benchmark-* entry points and the shipped QA, MCQ, and RRB JSONL datasets. Reuse the existing LiteLLM dependency and define the CLI behavior for eval-qa, eval-mcq, and eval-rrb, including --dry-run. Done means reporting the requested QA, MCQ, and RRB metrics over the analyzed_tools pool without reproducing trained-ToolGen Rc@50.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Thanks for open-sourcing ToolSense — the QA, MCQ, and Realistic Retrieval datasets are a really useful resource. I noticed the repo currently exposes generation entry points only (generate-*, benchmark-*), so a downstream user has the data and the paper's headline metrics but no turnkey way to score a model on them.
I'd like to contribute a small evaluate/ module + CLI (eval-qa / eval-mcq / eval-rrb) that loads the shipped JSONL and reports QA vs. 50% / MCQ vs. 25% / RRB Recall@k, hit-rate, MRR, and nDCG over the analyzed_tools pool, reusing the existing LiteLLM dependency and adding a no-LLM --dry-run mode for CI. It's an inference-only, in-context scorer — explicitly not a reproduction of the trained-ToolGen Rc@50.
I'm happy to implement this and open a PR; just let me know if you'd welcome the contribution and want to assign the issue to me.
- Lingua principale
- Python
- Stelle
- 1
- Fork
- 3
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di SAP/toolsense
Tutte le issue di SAP/toolsense
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
I maintainer di solito rispondono entro 1 giorno
-
namespace operations
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 65/100
EclipseFdn/open-vsx.org#15057 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
FinanceFlash/unvibecode#349 ·
-
Mission statement: why this is free, in the README, Why This Exists and the wiki HomeForse già presa @ChiefGyk3D l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
ChiefGyk3D/Clouds-Against-Humanity#348 ·
I maintainer di solito rispondono entro 1 giorno
-
[Perf] Default --vllm-watermark 0.05 for rollouts (hybrid models re-preempt under KV pressure)Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100
vllm-project/vime#508 ·
I maintainer di solito rispondono entro 4 giorni