Server scenarios fail servers for capabilities they never declared
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 40/100
- issue の種類
- バグ
- 明瞭さ
- 明確に書かれている
- 活発さ
- 活発
- 技術スタック
- typescript
- 領域
- testing-qa
調査の方向性
Examine the conformance test suite structure, likely in a src/ or tests/ directory. Look for scenario definitions and how they are gated or filtered. The issue mentions specific scenario categories like prompts-* and resources-*. Find where server capabilities from the initialize method are read and used to determine test applicability. Understanding the test runner and reporting logic is key to implementing the suggested gating.
索引モデルが issue の本文から書いたものです。
説明
The same minimal server as above declares only tools. Against it, server mode reports 6 passed, 24 failed. Nearly all of the 24 are not conformance failures:
| Cause | Scenarios |
|---|---|
Capability not declared; -32601 Method not found is the correct answer |
prompts-* (5), resources-* (6), logging-set-level, tools-call-with-logging, completion-complete |
Fixture tool not present (test_image_content, test_tool_with_progress, …) |
tools-call-image, -audio, -embedded-resource, -mixed-content, -with-progress, -sampling, -elicitation, elicitation-sep1034-defaults, elicitation-sep1330-enums |
| Genuine | dns-rebinding-protection (served a foreign Host/Origin with 200) |
For comparison, @modelcontextprotocol/server-everything 2026.8.31 scores 13 passed, 19 failed on 0.1.16.
This is expected for a suite built to test SDKs against the everything-server. The result is still that the suite cannot be pointed at a production server to answer "is this server conformant?", which is the question most operators and registries are asking. A correct server scores 6/30, and its only real defect is buried among 23 false ones.
Suggestions, cheapest first:
- Gate on declared capabilities. Read
capabilitiesfrominitializeand report prompts, resources, logging and completions scenarios as not applicable when the capability is absent. Answering-32601for an undeclared capability is what the spec says to do. - Mark fixture-dependent scenarios (those that call
test_*tools ortest://resources) as needing the fixture, and report them as not applicable when the tool is missing fromtools/list, rather than failing them. - A capability-agnostic suite (e.g.
--suite production) holding only the scenarios that apply to any server: initialize, ping,tools/listshape, unknown-method and invalid-params handling, session handling, protocol-version header validation, and DNS-rebinding protection. That would let registries and operators cite the official suite for a real server.
Happy to contribute scenarios for (3) if that direction is welcome.
- 主要言語
- TypeScript
- スター
- 127
- フォーク
- 101
- 平均マージ
- 4日 7時間
- マージ済み PR(30日)
- 6
コントリビューションガイド
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
modelcontextprotocol/conformance のほかの issue
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
modelcontextprotocol/conformance#315 · コメント 1 件 ·
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
modelcontextprotocol/conformance#312 · コメント 1 件 ·
-
難易度 3/5 1〜2日 初心者へのやさしさ 55/100
-
難易度 3/5 1〜2日 初心者へのやさしさ 65/100
-
難易度 4/5 3〜5日 初心者へのやさしさ 45/100
modelcontextprotocol/conformance の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
vercel-labs/just-bash#464 ·
-
looksLikeSlug() is ASCII-only, so non-Latin entity slugs (e.g. Korean) skip exact match and collapse オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
-
難易度 1/5 1時間未満 初心者へのやさしさ 90/100
TanStack/tanstack.com#1293 ·