[Dataset Request] Add ToolBench (API/tool retrieval) — ToolLLM (ICLR 2024)
还没有人认领这个 Issue。
评估
调研方向
从链接的 retrieval_toolbench 数据集、ToolBench 仓库以及链接的 ToolLLM 论文中的表 2 开始。对比仓库现有的数据集和排行榜约定，然后添加 Tool Retrieval 基准，并记录 I1/I2/I3 NDCG@1 和 NDCG@5 结果；完成的标准是数据集和预置结果已建立索引，且没有将它们与 G1/G2/G3 混淆。
由索引模型根据 Issue 内容生成。
描述
Hi! I'd like to request indexing the ToolBench tool-retrieval benchmark and a leaderboard for the Tool Retrieval task.
Paper
- Title: ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs
- arXiv: https://arxiv.org/abs/2307.16789
- Venue: ICLR 2024 (Spotlight)
- Code: https://github.com/OpenBMB/ToolBench
Dataset
- HF (retrieval split):
NemoSheng/retrieval_toolbench - Size: 451 test queries against a corpus of ~10,400 tool/API descriptions (RapidAPI ecosystem)
- Settings: I1 (single-tool instructions), I2 (intra-category multi-tool), I3 (intra-collection multi-tool)
- Task: Tool / API Retrieval
- Primary metrics: NDCG@1, NDCG@5 (retrieval); the paper's dense API Retriever (Sentence-BERT / BERT-base) is the reference system
Suggested results to seed the leaderboard
Verified verbatim from Table 2 of the paper (NDCG, %; cross-checked against the arXiv HTML and PDF). Note the paper's retrieval table uses I1/I2/I3, not the G1/G2/G3 labels used for the end-to-end solving leaderboard — do not conflate.
| Model | I1 @1 | I1 @5 | I2 @1 | I2 @5 | I3 @1 | I3 @5 |
|---|---|---|---|---|---|---|
| BM25 | 18.4 | 19.7 | 12.0 | 11.0 | 25.2 | 20.4 |
OpenAI text-embedding-ada-002 |
57.5 | 58.8 | 36.8 | 30.7 | 54.6 | 46.8 |
| API Retriever (ToolLLM) | 84.2 | 89.7 | 68.2 | 77.9 | 81.7 | 87.1 |
Source: arXiv PDF/HTML Table 2 — https://arxiv.org/pdf/2307.16789 . Additional entries can be imported from pwc-archive/evaluation-tables if present.
Note
This retrieval split is widely reused as a tool-retrieval benchmark (also referenced by TR-bench, EMNLP 2024). Thanks!
- 主要语言
- 没有语言数据
- 星标
- 11
- 派生
- 1
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
这个项目没有提供开发容器、Dockerfile 或贡献指南，环境需要你自己搭建：先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
huggingface/paperswithcode-feedback 的其他 Issue
-
Data License未关闭
难度 1/5 1 小时以内 新手友好度 85/100
huggingface/paperswithcode-feedback#49 · 1 条评论 ·
-
难度 5/5 一周以上 新手友好度 25/100
-
难度 5/5 一周以上 新手友好度 30/100
-
难度 5/5 一周以上 新手友好度 28/100
huggingface/paperswithcode-feedback#41 · 1 条评论 · 1 个 reaction ·
-
Suggestions未关闭
难度 5/5 一周以上 新手友好度 25/100
查看 huggingface/paperswithcode-feedback 的全部 Issue
相似的 Issue
-
难度 2/5 1-3 小时 新手友好度 67/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 64/100
containers/podman-desktop-extension-ai-lab#4853 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 72/100
vekexasia/pi-extensible-workflows#368 ·
维护者通常 3 天内回复
-
难度 2/5 1-3 小时 新手友好度 62/100
moorcheh-ai/memanto#2120 · 1 条评论 ·
维护者通常 1 天内回复
-
docs priority:P1 size:S
难度 2/5 1-3 小时 新手友好度 66/100
维护者通常 1 天内回复