Copilot for Xcode cannot consume image responses from MCP tools (Figma get_screenshot)
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 32/100
Hướng nghiên cứu
Tái hiện quy trình Figma MCP get_screenshot trong Copilot cho Xcode ở chế độ Agent và kiểm tra các log streamChoices được cung cấp để xem kết quả hình ảnh được xử lý như thế nào. So sánh cùng phản hồi MCP trong VSCode; được xem là hoàn thành khi agent tiếp nhận và suy luận về hình ảnh được trả về bằng một model có khả năng Vision.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Description
When using Figma MCP inside Copilot for Xcode (Agent mode), the get_screenshot MCP tool successfully returns an image from the MCP server, but Copilot for Xcode fails to consume or interpret the image output, even when using Vision-enabled models (e.g. Claude Opus 4.5).
The same MCP workflow works correctly in VSCode, where the image returned by get_screenshot is properly read and used by the agent. This suggests an issue specific to Copilot for Xcode’s handling of MCP image responses, not the MCP server itself.
Versions
- Copilot for Xcode: 0.46.0
- Xcode: 26.2
- macOS: 26.1
Steps to reproduce
- Configure and run Figma MCP with a tool that returns an image payload (e.g. get_screenshot).
- Open Copilot for Xcode and start Agent mode.
- Trigger an MCP workflow that calls get_screenshot (for example via a command like /start-design-intake with a Figma node ID).
- Observe that:
4.1 MCP tool call succeeds
4.2 Image data is returned by the MCP server
4.3 Copilot UI shows the tool execution but the agent does not consume or reason over the image
4.4 Run the same MCP server and workflow in VSCode.
4.5 Observe that in VSCode the image is correctly read and used by the agent.
Screenshots
Logs
[2026-01-13T18:24:06.344Z] [info] [GitHubCopilot] [29344] window/logMessage: {
"type" : 4,
"message" : "[streamChoices] chunk data: {\"choices\":[{\"index\":0,\"delta\":{\"content\":null,\"tool_calls\":[{\"function\":{\"name\":\"mcp_figma-mcp_get_screenshot\"},\"id\":\"toolu_01673Vz98Z4tYmYaYSkEhMDw\",\"index\":1,\"type\":\"function\"}]}}],\"created\":1768328646,\"id\":\"msg_01SK3zJNMPmyrqWFRtTi2d7y\",\"model\":\"claude-opus-4.5\"}\n\n"
}
[2026-01-13T18:24:06.344Z] [info] [GitHubCopilot] [29344] window/logMessage: {
"message" : "[streamChoices] choice { index: 0, delta: { content: null, tool_calls: [ [Object] ] } }",
"type" : 4
}
Additional context
- The MCP server is returning a valid image response (same payload works in VSCode).
- Vision-capable models are enabled and selected in Copilot for Xcode.
- This appears to be a Copilot for Xcode limitation or bug in MCP multimodal (image) handling, not a Figma MCP issue.
- Ngôn ngữ chính
- Swift
- Star
- 6.3k
- Fork
- 2k
- Merge trung bình
- 3 ngày 21 giờ
- Pull request đã merge (30 ngày)
- 2
Hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của github/CopilotForXcode
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 85/100
github/CopilotForXcode#181 · 2 reaction ·
-
Add ability to attach Copilot window only to Xcode projects/workspaces, ignoring standalone files Đang mở
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 68/100
github/CopilotForXcode#945 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 35/100
github/CopilotForXcode#943 ·
-
Luisgerardomartinezlara Đang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 10/100
github/CopilotForXcode#936 · 2 bình luận ·
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 10/100
github/CopilotForXcode#934 ·
Tất cả issue của github/CopilotForXcode
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
manaflow-ai/cmux#13763 ·
-
type: feature request
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
googleapis/google-cloud-swift#1036 · 1 bình luận ·
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 78/100
wultra/mtoken-sdk-ios#253 ·
-
The correction-threshold rationale says 17 restraint cases collide; the current corpus has 16 Đang mởarea:dictation documentation P2
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
uttrflow/uttrflow-swift#1180 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100