Enable non-existent tool fallback with MCP server
维护者通常 1 天内回复
评估
调研方向
首先跟踪 MCP 服务器的工具调用处理流程，以及请求的工具不可用时 execution.log 中报告的失败。定义可选的回退行为，包括默认错误消息以及用户覆盖该消息的方式。完成标准是：出现幻觉的工具调用能够提醒模型并进行恢复，而不是自动丢弃记录。
由索引模型根据 Issue 内容生成。
描述
Priority Level
Medium (Nice to have)
Is your feature request related to a problem? Please describe.
Right now, when using an MCP server, Data Designer immediately errors out and drops the row if a model attempts to call a non-existent tool. E.g.:
[03/12/26 02:43:16] INFO Processing request of type server.py:720
CallToolRequest
[02:43:17] [WARNING] ⚠️ Generation for record at index 197 failed. Will omit this record from the dataset.
Tool 'CalcNumSaturatedHeterocycles' not found on any configured provider.
I've found that all tested models hallucinate tools sometimes, resulting in many failed records. For SDG, there are many cases where this is sub-optimal because it doesn't show the model the consequences of hallucinated tool calls.
Describe the solution you'd like
I would like to have an optional catch and fallback to alert the model that the tool doesn't exist. Ideally, we would provide a default error message which could be overridden by the user.
Describe alternatives you've considered
Right now, I inspect execution.log directly to identify when the model called hallucinated tools, since there is no statistics reporting on it and the row is dropped.
I don't have a workaround for recovering from hallucinated tool calls.
Additional context
No response
- 主要语言
- Python
- 星标
- 2.4k
- 派生
- 243
- 平均合并
- 1 天 3 小时
- 30 天内合并 PR
- 88
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
NVIDIA-NeMo/DataDesigner 的其他 Issue
-
Structured-output prompt schemas escape non-ASCII text as \uXXXX可能已有人在做 @spped2000 于 3 天前认领。 未关闭triaged
难度 2/5 1-3 小时 新手友好度 76/100
NVIDIA-NeMo/DataDesigner#1130 · 2 条评论 ·
维护者通常 1 天内回复
-
needs-discussion triaged
难度 2/5 1-3 小时 新手友好度 85/100
NVIDIA-NeMo/DataDesigner#1129 · 3 条评论 ·
维护者通常 1 天内回复
-
Allow huggingface-hub 2.x (widen cap from <2 to <3)可能已有人在做 @davanstrien 于 8 天前认领。 未关闭enhancement triaged
难度 2/5 1-3 小时 新手友好度 72/100
NVIDIA-NeMo/DataDesigner#1110 · 1 条评论 ·
维护者通常 1 天内回复
-
Local seed path containing a single quote breaks the DuckDB query可能重新可做 关联的 PR 已关闭且未合并。 未关闭bug triaged
难度 2/5 1-3 小时 新手友好度 67/100
NVIDIA-NeMo/DataDesigner#1102 · 3 条评论 ·
维护者通常 1 天内回复
-
enforce \from future import annotations` via ruff FA102 rule`可能已有人在做 @chethanuk 于 57 天前认领。 未关闭task
难度 2/5 1-3 小时 新手友好度 82/100
NVIDIA-NeMo/DataDesigner#760 ·
维护者通常 1 天内回复
查看 NVIDIA-NeMo/DataDesigner 的全部 Issue
相似的 Issue
-
难度 2/5 1-3 小时 新手友好度 74/100
-
enhancement
难度 2/5 1-3 小时 新手友好度 66/100
RunestoneInteractive/rs#1661 ·
维护者通常 2 天内回复
-
难度 2/5 1-3 小时 新手友好度 64/100
streamlink/streamlink#7192 · 4 条评论 ·
维护者通常 1 天内回复
-
难度 1/5 1-3 小时 新手友好度 75/100
维护者通常 2 天内回复
-
难度 2/5 1-3 小时 新手友好度 82/100
aws-samples/sample-per-model-bedrock#795 ·
维护者通常 1 天内回复