bug: One-hour Anthropic cache writes are priced at the 5-minute rate, so spend is 37.5% too low

Đang mở
#1,883 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
3/5
Thời gian dự kiến
1-2 ngày
Mức phù hợp với người mới
78/100
Loại issue
Lỗi
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
go
Lĩnh vực
backend, databases

Hướng nghiên cứu

Read core/parse/inference/anthropic.go around lines 241-276 and the pricing definitions in core/cost/pricing, starting with the Anthropic usage parsing and bundled rates. Add coverage for a mixed 5-minute and 1-hour cache split, then run the relevant Go tests. Done means the 5-minute share retains its current rate and the 1-hour share is priced at 2x the base input rate.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

bug

Problem

Cortex prices every Anthropic cache write at the 5-minute rate. A 1-hour cache write costs 2x the base input price, but Cortex records 1.25x. So the spend for 1-hour cache writes is 37.5% too low.

Example

claude-sonnet-4-5, cache_creation_input_tokens: 100000, all of them ephemeral_1h_input_tokens:

  • Cortex records 100000 × $3.75/MTok = $0.375.
  • Anthropic bills 100000 × $6.00/MTok = $0.60.

No unpriced or incomplete marker appears.

Source

Anthropic's prompt-caching docs (https://platform.claude.com/docs/en/build-with-claude/prompt-caching):

  • "Cache write tokens with a 5-minute TTL are 1.25 times the base input tokens price."
  • "Cache write tokens with a 1-hour TTL are 2 times the base input tokens price."
  • The usage object gives the split in usage.cache_creation.{ephemeral_5m_input_tokens, ephemeral_1h_input_tokens}. cache_creation_input_tokens is their sum.

Cause (main at 676557d35)

  • core/parse/inference/anthropic.go:241-276 reads only cache_creation_input_tokens.
  • core/cost/pricing has one TierCacheWrite. core/cost/pricing/bundled.go:164-166 sets it to 1.25x input.
  • No non-test Go file reads ephemeral_1h_input_tokens.

Fix

Parse the cache_creation object. Price the 1-hour share at 2x input: either add a tier, or add (1h tokens × 0.75 × input rate) to the cache-write cost. Keep the 5-minute share as it is. Add a test with a mixed split.

Impact if not fixed

Any agent that sends cache_control: {"type": "ephemeral", "ttl": "1h"} sees too little spend. Not measured: how much of real Claude Code traffic uses the 1-hour TTL. The captured fixtures in the repo show ephemeral_1h_input_tokens: 0.

Ngôn ngữ chính
Go
Star
26
Fork
46
Merge trung bình
9 giờ 55 phút
Pull request đã merge (30 ngày)
257

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của rossoctl/cortex

Tất cả issue của rossoctl/cortex

Issue tương tự

Thêm issue về Go

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.