filesystem: realistic examples in search_files' description stop small models refusing to search (measured; follow-up to #896 / #3419)
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 2/5
- Thời gian dự kiến
- 1-3 giờ
- Mức phù hợp với người mới
- 68/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Đặc tả rõ ràng
- Mức độ hoạt động
- Sôi nổi
- Công nghệ
- node.js, typescript
- Lĩnh vực
- tooling
Hướng nghiên cứu
Tìm phần mô tả search_files của máy chủ hệ thống tệp và so sánh các ví dụ hiện tại với những mẫu cụ thể trong issue, chẳng hạn '/*.json' và '/invoice'. Đọc nghiên cứu tình huống được liên kết để biết các biến thể đã đo. Thêm các ví dụ tìm kiếm thực tế và, nếu thực hiện gợi ý tùy chọn cho kết quả trống, hãy kiểm tra cách search_files định dạng 'No matches found'; hoàn tất khi phần mô tả phản ánh các ví dụ và gợi ý giải thích các mẫu đệ quy.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Which server?
filesystem (@modelcontextprotocol/server-filesystem)
Protocol era
Both, or not era-specific
MCP client
No response
The problem
Server: @modelcontextprotocol/server-filesystem, measured on 2.0.0 and 2.2.0 (checked: 2.3.0 ships the same search_files description and the same empty result). Run with npx -y @modelcontextprotocol/server-filesystem@<version> <dir>, stdio, Node 24, macOS.
Thanks for the rewrite from #896 / #3419. We measured it, and it clearly fixes how agents search: a small model that does search now finds files reliably.
What it doesn't fix: on questions like "How many orders are there in total?", the model usually doesn't search at all. It answers on step 1, "I don't have access to any database or system that would contain order information", while the data sits one tool call away. In a controlled test the example patterns in the description decided this:
search_files description (server 2.0.0, 4 tasks x 3 runs, answers checked in code) |
Pass |
|---|---|
| 2.0.0 original | 2/12 |
| 2.2.0 / 2.3.0 text | 2/12 |
precise rules + generic examples '**/*.ext', '**/name' |
3/12 |
precise rules + concrete examples '**/*.json', '**/*invoice*' |
9/12 (reproduced in 3 separate runs) |
The only difference between the last two rows is the two example patterns. On the two affected tasks they went from 0/6 to 6/6, and with the concrete examples the model searched **/*order* and found the data.
Case study (method, all tables, caveats): https://github.com/Tanishq67m/AgentGrade/blob/main/docs/CASE_STUDY.md
Raw reports: https://github.com/Tanishq67m/AgentGrade/tree/main/results
Solution you have in mind (optional)
- Add one or two realistic examples next to the generic ones, e.g.
'**/*.json','**/*report*'. Small models seem to read abstract placeholders as "this is a file utility", not "the user's data is here". - Replace the bare
No matches foundwith a hint, e.g. "No matches for '' under ''. Patterns are relative to path; use '**/' to search subdirectories." In earlier runs agents repeated non-recursive patterns up to 9 times after a bare empty result.
Which MCP feature does it demonstrate? (optional)
No response
Alternatives or workarounds you have tried
- Agent-side prompt advice ("Explore with the tools before saying information is unavailable"): 3/12 vs 1/12, still mostly refusals.
- Advising "look at the folder layout first" in the description: no effect (1/12).
- Removing search_files entirely: no effect (1/12); the refusal happens before any tool is chosen.
- A larger model (gpt-oss-120b) solved 11/12 even on 2.0.0, so this mainly affects small, cheap models. One small model and synthetic data, 12 runs per row: indicative, not universal.
Already built it locally?
No server code was changed. Each description was tested by having the client show the model only a different search_files description, with the server binary unchanged and the same tasks and repeats. Verified by code-checked answers, 12 runs per variant. The exact texts are in the case study.
Before you submit
- I searched existing issues and this is not a duplicate.
- This is a request for this repository or one of its servers, not a new server, the MCP specification or an SDK.
- Ngôn ngữ chính
- TypeScript
- Star
- 92k
- Fork
- 12k
- Merge trung bình
- 3 giờ 12 phút
- Pull request đã merge (30 ngày)
- 174
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của modelcontextprotocol/servers
-
bug server-time v2
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
modelcontextprotocol/servers#5559 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
enhancement server-git v2
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 88/100
modelcontextprotocol/servers#5552 · 2 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
chore dependencies server-fetch v2
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100
modelcontextprotocol/servers#5546 · 2 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
chore dependencies v2
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
modelcontextprotocol/servers#5545 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
chore server-everything v2
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 86/100
modelcontextprotocol/servers#5542 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của modelcontextprotocol/servers
Issue tương tự
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 95/100
marimo-team/marimo#11949 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
bug
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 88/100
Monsieur-Nico/textConvert#479 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
router-for-me/Home-Management-Center#232 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
clawsweeper:source-repro impact:ux-friction issue-rating: 🦞 diamond lobster maturity:stable P3
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
openclaw/openclaw#200937 · 1 bình luận · 1 reaction ·
Maintainer thường phản hồi trong vòng 1 ngày
-
bug follow-up
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
Maintainer thường phản hồi trong vòng 1 ngày