Anthropic provider: cache breakpoint lands on a thinking block (400: thinking.cache_control: Extra inputs are not permitted)

Đang mở
#455 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
3/5
Thời gian dự kiến
1-2 ngày
Mức phù hợp với người mới
78/100
Loại issue
Lỗi
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
rust
Lĩnh vực
backend-api-design

Hướng nghiên cứu

Start in src/provider/anthropic.rs at Breakpoint 3 around lines 632–660, then inspect bridge_breakpoint around line 935 and the existing is_empty_text helper. Build the request described in the issue and check that thinking blocks never receive cache_control, while an earlier cacheable block still gets a breakpoint. Done means both breakpoint paths follow that rule.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Ask (narrow): in src/provider/anthropic.rs (0.27.9), never put cache_control on a thinking or redacted_thinking block. Anthropic accepts cache_control only on text / tool_use / tool_result / image / document blocks.

Where: Breakpoint 3 (~L632-660) scans back from the second-to-last message and sets cache_control on content.last_mut() whenever it is not an empty text block (is_empty_text, L921). bridge_breakpoint (L935) uses the same last-block rule. Neither excludes thinking blocks.

Trigger: any assistant message whose last block is thinking: a refusal (stop_reason: refusal) that kept only its thinking, an interrupted turn, or a thinking-only turn. Seen in yoyo Day 261 (yologdev/yoyo-evolve#1206):

error: API error: HTTP 400 Bad Request: messages.19.content.0.thinking.cache_control: Extra inputs are not permitted

Because the picker is deterministic, every following request rebuilds the same body, so the session may stay poisoned (not measured on yoagent; opencode reported exactly that for the same defect).

Fix shape used elsewhere (litellm aa3d59d0, antra-tess/membrane 2d405944 lastCacheableBlockIndex, opencode #51141): pick the last cacheable block in the message; if the message has none, keep scanning to the previous message. Same rule in bridge_breakpoint.

Test: a request built from [user, assistant(thinking only), user] has no cache_control on any thinking block and still has one breakpoint on an earlier cacheable block.

yoyo-side: #1206 tracks the yoyo test that pins this once a release ships.

Ngôn ngữ chính
Rust
Star
327
Fork
46
Merge trung bình
2 giờ 36 phút
Pull request đã merge (30 ngày)
107

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của yologdev/yoagent

Tất cả issue của yologdev/yoagent

Issue tương tự

Thêm issue về Rust

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.