Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

[Bug] MCP tool results containing image content are sent to the model as Base64 text instead of as images

Đang mở
  • Có gì không ổn?
#465 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
48/100
Loại issue
Lỗi
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
java
Lĩnh vực
desktop, devtools

Hướng nghiên cứu

Start by tracing how MCP tool results from the stdio transport are converted into the model request, then compare that path with manually attached images and the VS Code behavior described here. The fix is complete when image content is forwarded as an image, and models without image support receive a clear warning instead of Base64 text.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

bug

OS: Red Hat Enterprise Linux 9.6 (Plow)
Eclipse Version: Eclipse Platform 4.38.0 (v20260708-0722)
Plugin Version: GitHub Copilot for Eclipse 0.20.0.202607100822
Model: GPT-6 Astra (Medium), in Agent mode
MCP transport: stdio (local server built with FastMCP)

When an MCP tool returns an image in its result ({"type": "image", "mimeType": "image/jpeg", "data": ""}), Copilot for Eclipse sends it to the model as a Base64 text string, not as an image. The model can't see the picture, so it says it received "Base64-encoded JPEG text rather than a viewable image".

The same MCP server, tool and image work in VS Code Copilot Chat, where the model sees and describes the screenshot. Manually attaching the same JPEG file in Copilot for Eclipse chat also works. So, the model can handle images, and the problem appears to be in how the plugin forwards images from MCP tool results.

To Reproduce
FastMCP Example:

from fastmcp import FastMCP
from fastmcp.utilities.types import Image

mcp = FastMCP("image-test")

@mcp.tool
def get_image() -> Image:
    """Return a test image."""
    return Image(path="/path/to/any.jpg")

if __name__ == "__main__":
    mcp.run()

Register the server in Copilot for Eclipse's MCP settings (stdio transport).
Open Copilot Chat in Agent mode and pick a vision-capable model.
Ask: "Call get_image and describe what is in the image."
The tool runs successfully, but the model replies that it received Base64 text and can't view the image.

Expected behavior
Image content from MCP tool results should be sent to the model as images, as VS Code Copilot Chat does and as happens with images attached manually in Copilot for Eclipse. The model should then be able to describe the image.

If the selected model doesn't support images, the plugin should show a clear warning rather than sending raw Base64 text.

LLM prompt and output:
Prompt: use the screenshot tool to describe the image. DO NOT use any other context or information to guess what is on the screenshot.
Copilot:
The screenshot was returned as Base64-encoded JPEG data, not a viewable image. I can’t reliably describe its contents and won’t guess from other context.

Please attach the screenshot directly as an image or use a model/interface that can render the returned image.

The point of the screenshot tool is to screenshot the IDE and automatically look at the image. It is cumbersome to take a screenshot, add it to the project (or drag it to the document viewer in eclipse), and then manually add it to chat.

Ngôn ngữ chính
Java
Star
125
Fork
63
Merge trung bình
1 ngày 3 giờ
Pull request đã merge (30 ngày)
5

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của microsoft/copilot-for-eclipse

Tất cả issue của microsoft/copilot-for-eclipse

Issue tương tự

Thêm issue về Java

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.