[Dataset Request] Add MetaTool (ToolE) — tool selection benchmark (ICLR 2024)
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 52/100
- issue の種類
- 機能追加
- 明瞭さ
- おおむね明確
- 活発さ
- 静か
調査の方向性
まず、リポジトリに既存のデータセットのインデックス作成とリーダーボードのエントリーポイントを調査し、次に github.com/HowieHwong/MetaTool の ToolE データと、報告されている CSR 結果の arXiv HTML を確認します。利用可能であれば pwc-archive/evaluation-tables も確認してください。MetaTool がインデックス化され、その文書化されたツール選択結果がリーダーボードに反映されれば完了です。
索引モデルが issue の本文から書いたものです。
説明
Hi! I'd like to request indexing the MetaTool benchmark and a leaderboard for the Tool Selection task.
Paper
- Title: MetaTool Benchmark for Large Language Models: Deciding Whether to Use Tools and Which to Use
- arXiv: https://arxiv.org/abs/2310.03128
- Venue: ICLR 2024
- Code / data: https://github.com/HowieHwong/MetaTool
Dataset
- Source:
github.com/HowieHwong/MetaTool(ToolE dataset) - Size: ~21K user queries mapped to ~43 tools
- Sub-tasks: (1) tool-usage awareness (should a tool be used), (2) tool selection — single-tool and multi-tool
- Task: Tool Selection
- Primary metric: CSR — Correct Selection Rate (%) = percentage of correct tool-selection actions
Suggested results to seed the leaderboard
Verified from the arXiv HTML full text (https://arxiv.org/html/2310.03128). Nine LLMs evaluated; GPT-4 was not evaluated on tool selection. Task 1 = selection among similar tools; Task 3 = reliability (recognise when no tool applies). CSR (%):
| Model | Task 1 (0-shot) | Task 1 (5-shot) | Task 3 (0-shot) | Task 3 (5-shot) |
|---|---|---|---|---|
| ChatGPT (gpt-3.5-turbo) | 69.05 | 72.94 | 50.35 | 78.49 |
| ChatGLM2 | 54.17 | 57.44 | 6.63 | 15.68 |
| Llama2-7b | 45.95 | 51.12 | 0.90 | 2.51 |
| Llama2-13b | 44.06 | 49.85 | 2.31 | 5.93 |
| Vicuna-7b | 73.46 | 63.67 | 1.50 | 1.81 |
| Vicuna-13b | 58.23 | 63.15 | 2.51 | 3.42 |
| Vicuna-33b | 53.96 | 60.54 | 2.81 | 3.11 |
| Koala-13b | 56.34 | 60.85 | 1.70 | 5.83 |
| Baichuan2 | 59.12 | — | 32.26 | — |
The paper also reports a multi-tool selection table (Task 4) and scenario figures (Task 2, charts only — no extractable numbers). Source: arXiv 2310.03128. Can also be imported from pwc-archive/evaluation-tables if present.
Note
Useful as a tool-selection counterpart to retrieval benchmarks like ToolRet/ToolBench. Thanks!
- 主要言語
- 言語のデータがありません
- スター
- 11
- フォーク
- 1
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
huggingface/paperswithcode-feedback のほかの issue
-
Data Licenseオープン
難易度 1/5 1時間未満 初心者へのやさしさ 85/100
huggingface/paperswithcode-feedback#49 · コメント 1 件 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
-
難易度 5/5 1週間以上 初心者へのやさしさ 30/100
-
難易度 5/5 1週間以上 初心者へのやさしさ 28/100
huggingface/paperswithcode-feedback#41 · コメント 1 件 · リアクション 1 件 ·
-
Suggestionsオープン
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
huggingface/paperswithcode-feedback の issue をすべて見る
似ている issue
-
`ingest` fails with pynndescent 0.7対応中かも @eroell が今日担当しました。 オープンTriage 🩺
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
メンテナーはふだん 1 日以内に返信
-
[VLM] granite_vision preset produces empty output and runs ~3× slower with Granite Vision 3.3-2B than with Granite Vision 4.1-4B対応中かも @prassu017 が今日担当しました。 オープンbug
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
docling-project/docling#5068 · コメント 4 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
Nixtla/statsforecast#1333 ·
メンテナーはふだん 1 日以内に返信
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 66/100
Azure/azureml-examples#4139 ·
メンテナーはふだん 4 日以内に返信
-
bug triage
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
guaardvark/guaardvark#349 ·
メンテナーはふだん 1 日以内に返信