Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Default model answers in tool markup; recovery on Opus is over half the spend

Đang mở
  • Có gì không ổn?
#1,570 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
65/100
Loại issue
Lỗi
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
go
Lĩnh vực
ai, backend, cli

Hướng nghiên cứu

Start with internal/session/checkpoint.go around lines 152, 1927, and 3810, then trace the markup retry ladder in internal/session/loop.go around lines 2724-2773. Run the listed unit and org-replication checks on the default model, verify markup recovery stays within the conversation tier or parses the markup, and confirm markreader spend is under 15%.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

area:provider bug sev:critical

Seen on: dev 837b2b0.

Behaviour

On the default model, many turns show the model answered in its own internal markup instead of words · asking again, then gave up after 6 tries …; some managers repeat the ask is not finished · carrying on rather than stopping here. The recovery reader runs on the top model: in one session the markreader role on anthropic/claude-opus-5.5 was $2.29 of $4.27 (54%), and the spend panel read claude-opus-5.5 51%. A fleet on the default cheap model should not spend most of its money on markup recovery.

Replication

  1. Build dev 837b2b0 (git checkout 837b2b0 && make build, binary bin/codeaf), or install the dev build with curl -fsSL https://agentfield.ai/get/devaf | bash.
  2. Use an isolated profile: export HOME=$(mktemp -d), export OPENROUTER_API_KEY, and keep the default model (~deepseek/deepseek-v4-flash-latest, crew on auto).
  3. On a busy machine set task.max_load to 0 (/settings, Tasks) so the busy-machine gate does not hold tasks.
  4. cd $(mktemp -d) && git init -q && codeaf.
  5. Ask for an org: Build a small software company for this repo: a product team, a backend team and a qa team, each with a manager, and a global manager over them. Then give each manager one small job.
  6. After 20 to 30 minutes, read $HOME/.codeaf/v3/usage.jsonl and sum spend by role and model (jq -r '[.role,.model,.spend]|@tsv'), and open the spend panel.

Evidence

  • Screen: the model answered in its own internal markup instead of words · asking again, gave up after 6 tries ….
  • usage.jsonl: role markreader on anthropic/claude-opus-5.5 = $2.29 of $4.27.
  • internal/session/checkpoint.go:152: roles.Register(roles.RoleMarkReader, roles.TierMastermind) puts the mark reader on the top tier; calls at checkpoint.go:1927 and :3810.
  • internal/session/loop.go:2724-2773: the markup retry ladder (finishing this one on <next>).

Guessed cause

A guess from reading the code, not a confirmed diagnosis. ~deepseek/deepseek-v4-flash-latest on its current lane emits tool markup as text; each such turn wakes the mark reader, which is registered on the mastermind tier, so cheap-model markup failures are paid for at Opus rates.

Acceptance

  • e2e: the org replication above on the default model spends under 15% of its total on the markreader role.
  • Unit: the markup path either parses the model's tool markup or escalates within the conversation's own tier; a structural test pins the mark reader's tier.

Found while writing the public docs; manual text differences are in #1545.

🤖 Generated with Claude Code

Ngôn ngữ chính
Go
Star
115
Fork
14
Merge trung bình
9 giờ 35 phút
Pull request đã merge (30 ngày)
752

Chuẩn bị môi trường

Chúng tôi chưa kiểm tra các tệp thiết lập môi trường của dự án này. Hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của Agent-Field/CodeAF

Tất cả issue của Agent-Field/CodeAF

Issue tương tự

Thêm issue về Go

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.