Copilot engine: tool images never reach the model behind the API proxy

Đang mở Phù hợp với người mới
  • Có gì không ổn?
#76,385 1 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
2/5
Thời gian dự kiến
1-3 giờ
Mức phù hợp với người mới
72/100
Loại issue
Lỗi
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
github-actions, go
Lĩnh vực
devtools

Hướng nghiên cứu

Bắt đầu bằng cách đọc src/services/credentials/copilot-credential-env.ts ở phần thiết lập môi trường proxy API, sau đó tìm nơi DefaultCopilotVersion được định nghĩa và sử dụng. Kiểm tra các bài kiểm thử hiện có về môi trường thông tin xác thực Copilot và hành vi phiên bản CLI mặc định. Công việc hoàn tất khi chế độ proxy token GitHub bật vision và phiên bản Copilot CLI mặc định ít nhất là 1.0.106.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

awf community

Images from tools are dropped for every Copilot workflow that uses a COPILOT_GITHUB_TOKEN, so screenshot- and image-based workflows can't see anything.

Steps

  1. Commit any PNG as test.png.
  2. Add a workflow_dispatch workflow with engine: copilot and the prompt "Open test.png with the view tool and describe it."
  3. Set COPILOT_GITHUB_TOKEN, compile, and run.

Expected: the model receives the image and describes it.

Actual: the model says it can't see the image. On CLI 1.0.106 the view result is only Viewed image file successfully. (an image attachment was omitted from this request because image input is unavailable for the current model). On the default 1.0.103 the omission note is missing too. With COPILOT_PROVIDER_VISION: "true" in engine.env (CLI 1.0.106), the same run describes the image correctly.

Build: gh aw v1.0.1, Copilot CLI 1.0.103 (default) and 1.0.106, ubuntu-latest.

Cause: in API-proxy mode, AWF runs the CLI as an offline BYOK client pointed at the sidecar (copilot-credential-env.ts). The CLI treats BYOK models as text-only unless COPILOT_PROVIDER_VISION=true, which https://github.com/github/copilot-agent-runtime/pull/32179 added (CLI 1.0.106 and later; documented in copilot help environment).

Suggested fix: set COPILOT_PROVIDER_VISION=true alongside COPILOT_OFFLINE in GitHub-token mode, and move DefaultCopilotVersion to 1.0.106 or later.

Workaround:

engine:
  id: copilot
  version: "1.0.106"
  checksums-sha256: "5e8cf7427cc69cc757d1a08132dac0eb9e7f56c95d269ecbc06799686e996730" # SHA256SUMS.txt
  env:
    COPILOT_PROVIDER_VISION: "true"

Related: https://github.com/github/gh-aw/issues/74972, https://github.com/github/copilot-cli/issues/4600

🤖 Authored with GitHub Copilot on behalf of @rwoll.

[!NOTE]

Was this description helpful?
Pick a rating, then press Submit.

Rate the description, not the code. Humans only, please. Thanks for helping me write clearer descriptions!

Ngôn ngữ chính
Go
Star
5.6k
Fork
615
Merge trung bình
5 giờ 21 phút
Pull request đã merge (30 ngày)
792

Chuẩn bị môi trường

Mở trong Codespaces

Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của github/gh-aw

Tất cả issue của github/gh-aw

Issue tương tự

Thêm issue về Go

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.