[Dataset Request] Add MetaTool (ToolE) — tool selection benchmark (ICLR 2024)
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 52/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Tranquilla
- Ambito
- machine-learning
Direzione di ricerca
Inizia ispezionando i punti di ingresso esistenti del repository per l’indicizzazione dei dataset e la leaderboard, quindi esamina i dati ToolE in github.com/HowieHwong/MetaTool e l’HTML di arXiv per i risultati CSR riportati. Controlla pwc-archive/evaluation-tables, se disponibile. Il lavoro è completo quando MetaTool è indicizzato e i suoi risultati documentati di selezione degli strumenti sono rappresentati in una leaderboard.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Hi! I'd like to request indexing the MetaTool benchmark and a leaderboard for the Tool Selection task.
Paper
- Title: MetaTool Benchmark for Large Language Models: Deciding Whether to Use Tools and Which to Use
- arXiv: https://arxiv.org/abs/2310.03128
- Venue: ICLR 2024
- Code / data: https://github.com/HowieHwong/MetaTool
Dataset
- Source:
github.com/HowieHwong/MetaTool(ToolE dataset) - Size: ~21K user queries mapped to ~43 tools
- Sub-tasks: (1) tool-usage awareness (should a tool be used), (2) tool selection — single-tool and multi-tool
- Task: Tool Selection
- Primary metric: CSR — Correct Selection Rate (%) = percentage of correct tool-selection actions
Suggested results to seed the leaderboard
Verified from the arXiv HTML full text (https://arxiv.org/html/2310.03128). Nine LLMs evaluated; GPT-4 was not evaluated on tool selection. Task 1 = selection among similar tools; Task 3 = reliability (recognise when no tool applies). CSR (%):
| Model | Task 1 (0-shot) | Task 1 (5-shot) | Task 3 (0-shot) | Task 3 (5-shot) |
|---|---|---|---|---|
| ChatGPT (gpt-3.5-turbo) | 69.05 | 72.94 | 50.35 | 78.49 |
| ChatGLM2 | 54.17 | 57.44 | 6.63 | 15.68 |
| Llama2-7b | 45.95 | 51.12 | 0.90 | 2.51 |
| Llama2-13b | 44.06 | 49.85 | 2.31 | 5.93 |
| Vicuna-7b | 73.46 | 63.67 | 1.50 | 1.81 |
| Vicuna-13b | 58.23 | 63.15 | 2.51 | 3.42 |
| Vicuna-33b | 53.96 | 60.54 | 2.81 | 3.11 |
| Koala-13b | 56.34 | 60.85 | 1.70 | 5.83 |
| Baichuan2 | 59.12 | — | 32.26 | — |
The paper also reports a multi-tool selection table (Task 4) and scenario figures (Task 2, charts only — no extractable numbers). Source: arXiv 2310.03128. Can also be imported from pwc-archive/evaluation-tables if present.
Note
Useful as a tool-selection counterpart to retrieval benchmarks like ToolRet/ToolBench. Thanks!
- Lingua principale
- Nessun dato sulla lingua
- Stelle
- 11
- Fork
- 1
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di huggingface/paperswithcode-feedback
-
Data LicenseAperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 85/100
huggingface/paperswithcode-feedback#49 · 1 commento ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 30/100
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 28/100
huggingface/paperswithcode-feedback#41 · 1 commento · 1 reazione ·
-
SuggestionsAperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
Tutte le issue di huggingface/paperswithcode-feedback
Issue simili
-
Bug in Web UI: Unknown model arch 'sd15' when selecting SD 1.5Forse già presa @ngo-binh0108 l’ha presa oggi. Aperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 86/100
ostris/ai-toolkit#1092 ·
I maintainer di solito rispondono entro 1 giorno
-
regression skipped skipped_bmg
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
intel/torch-xpu-ops#5892 ·
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 64/100
containers/podman-desktop-extension-ai-lab#4853 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
I maintainer di solito rispondono entro 1 giorno
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
PINNeAPPle-Labs/PINNeAPPle#940 ·
I maintainer di solito rispondono entro 1 giorno