[Safe Outputs Conformance] MCE-001: add_comment tool description wording does not match conformance checker 50-link disclosure pattern
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 2/5
- Thời gian dự kiến
- 1-3 giờ
- Mức phù hợp với người mới
- 68/100
Hướng nghiên cứu
Mô tả của add_comment và mô tả của trường body nằm trong pkg/workflow/js/safe_outputs_tools.json, còn regex bị lỗi nằm trong check_mce_constraint_disclosure ở scripts/check-safe-outputs-conformance.sh. Bắt đầu bằng cách so sánh cách diễn đạt max-links hiện tại với mẫu 50 link mà bộ kiểm tra tìm kiếm, rồi quyết định nên viết lại JSON hay mở rộng regex; việc này cần maintainer xác nhận. Hoàn thành khi bộ kiểm tra báo MCE-001 là đạt khi chạy.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Conformance Check Failure
Check ID: MCE-001
Severity: MEDIUM
Category: Implementation (MCP Constraint Enforcement, Section 8.3 MCE2)
Problem Description
scripts/check-safe-outputs-conformance.sh (check check_mce_constraint_disclosure) requires the add_comment tool description in pkg/workflow/js/safe_outputs_tools.json to contain the literal substring 50 link (case-insensitive) as proof that the 50-URL constraint is disclosed to the agent per spec Section 8.3 MCE2.
The description does disclose the limit, but with different wording:
"...the configured max-links URL occurrences in agent content (default: 50; generated footer and metadata links excluded)..."
Because the digit 50 and the word link/links never appear adjacent, the checker's grep -iE "50 link" does not match, and the check fails with a MEDIUM-severity false-positive-style result even though the underlying requirement (informing the agent of the link limit before it calls the tool) is satisfied.
This will keep re-triggering on every scheduled run of this conformance workflow until either the description wording or the checker pattern is adjusted, generating recurring noise.
Affected Components
- Files:
pkg/workflow/js/safe_outputs_tools.json(canonical source, embedded viago:embedinpkg/workflow/safe_outputs_tools.go) —add_commenttooldescription(~line 525) andbodyfielddescription(~line 533)scripts/check-safe-outputs-conformance.sh—check_mce_constraint_disclosure(around line 684)
🔍 Current vs Expected Behavior
Current Behavior
The add_comment description states the link limit as "...(default: 50; generated footer and metadata links excluded)" — correct in substance, but it does not contain a string matching 50 link so the automated checker flags it as missing disclosure.
Expected Behavior
Either:
- The tool description text explicitly includes a phrase like "maximum 50 links" / "50 link limit" so the disclosure is unambiguous to both the agent and the automated conformance check, OR
- The checker's regex is broadened to also accept the existing "max-links ... default: 50" phrasing (and similar equivalent wording) so it does not flag substantively-conformant descriptions.
Remediation Steps
This task can be assigned to a Copilot coding agent with the following steps:
- Open
pkg/workflow/js/safe_outputs_tools.jsonand locate theadd_commenttooldescriptionand itsbodyfielddescription(two occurrences of the max-links wording). - Reword the link-limit clause to literally include "50 links" (or "50 link limit"), e.g. change "...the configured max-links URL occurrences in agent content (default: 50; generated footer and metadata links excluded)..." to "...a maximum of 50 links (configurable via max-links; generated footer and metadata links excluded)...", keeping the meaning unchanged.
- Regenerate/sync
actions/setup/js/safe_outputs_tools.jsonfrom the canonical source if it is a generated copy (checkpkg/workflow/safe_outputs_tools_generation.go/generate_safe_outputs_tools.cjsfor the regeneration step), and runmake fmt. - Re-run the conformance checker to confirm MCE-001 passes.
- If, instead, the maintainers prefer to keep the current wording, update the checker regex in
scripts/check-safe-outputs-conformance.sh(check_mce_constraint_disclosure) to accept the existing "max-links...default: 50" phrasing instead of requiring the literal "50 link" substring.
Verification
After remediation, verify the fix by running:
bash scripts/check-safe-outputs-conformance.sh
The check MCE-001 should pass without errors.
References
- Safe Outputs Specification: docs/src/content/docs/specs/safe-outputs-specification.md (Section 8.3 MCE2)
- Conformance Checker: scripts/check-safe-outputs-conformance.sh
- Run ID: §38688391715
- Date: 2026-10-15
Generated by ✅ Daily Safe Outputs Conformance Checker · claude · agent · 83.3 AIC · ⊞ 5.3K · ◷
- expires on Oct 15, 2026, 9:49 PM UTC-08:00
- Ngôn ngữ chính
- Go
- Star
- 5.4k
- Fork
- 584
- Merge trung bình
- 3 giờ 26 phút
- Pull request đã merge (30 ngày)
- 822
Chuẩn bị môi trường
Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.
- Có Dockerfile hoặc tệp Docker Compose
- Không có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của github/gh-aw
-
automation models
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100
Maintainer thường phản hồi trong vòng 1 ngày
-
ai-inspected
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 85/100
Maintainer thường phản hồi trong vòng 1 ngày
-
automation cli cookie documentation
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
github/gh-aw#70526 · 5 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
agentic-workflows
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 67/100
Maintainer thường phản hồi trong vòng 1 ngày
-
automated conformance good-first-issue safe-outputs
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
Maintainer thường phản hồi trong vòng 1 ngày
Issue tương tự
-
test(fabric): load the TestLoad fixture through config.Service instead of a raw koanf decodeĐang mởcleanup hacktoberfest priority: low skill: good first issue testing
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
hyperledger-labs/fabric-smart-client#2197 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
NTR: [tRNA kinase activity]Đang mởNew term request
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 62/100
geneontology/go-ontology#32791 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 69/100
aws/amazon-ecs-agent#5177 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
release-followup
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
Maintainer thường phản hồi trong vòng 1 ngày
-
kind/bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 1 ngày