Question: should the Model Pool's judge go free, or be skipped, while the OpenRouter balance is low?
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 35/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Sôi nổi
- Công nghệ
- go
- Lĩnh vực
- ai-infra-agents, cli, documentation
Hướng nghiên cứu
Read internal/credits/credits.go for LowCreditsUSD and Reading.Low, then inspect Candidates in internal/pool/judge/judge.go and the judge loop in cmd/codeaf/poolrecord.go. Review the low-credit guidance in internal/manual/chat/openrouter-credits.md and models-and-costs.md. Done requires a maintainer decision among the three options, matching behavior, and documentation that explains what happens to judges when credit is low.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
A question for a ruling, not a defect. Nothing here behaves differently from how it was written. #1440 made a new situation possible, and nobody has decided how the Model Pool's judge should behave in it.
What is true today
- #1440 (merged into
devasf101ad2e7) reads the OpenRouter balance. When the account is known to be low (credits.LowCreditsUSD, $0.50 or less remaining), every crew tier the person has not written a model for goes to a free model, so a near-zero account keeps working on free models. - After a task lands, the Model Pool records it and asks a judge model to score the seats that ran it (
cmd/codeaf/poolrecord.go, the loop that callsjudge.Judge). It asks up tojudgeTriescandidates in turn. - The judge is never free.
judge.Candidatesininternal/pool/judge/judge.goleaves out every row whose prompt and completion prices sum to zero, and every id ending in:free. Its comment gives the reason: a free row is rate-limited and answers with a 429 when a judge most needs an answer.
Together: on an account codeaf itself knows is almost out of credit, the task's own work runs on free models, but the judge pass after it still picks the cheapest paid model that qualifies. That call spends from the balance #1440 is trying to protect. When the balance is nearly empty, the call is also likely to fail with a 402 that nobody sees, and the pool then records a failed judge attempt instead of scores.
The options
- A free judge while the balance is low. Drop the free-row exclusion when the reading says
Low, and accept 429s. A judge that fails costs nothing, and the pool already records a failed judge as such. - Skip the judge pass while the balance is low. The landing is recorded unjudged, with a reason such as
balance low. Nothing is spent, and the pool loses those scores. - Keep it paid. The scores are worth the cents. If so, the manual should say that a judge call is paid even when the crew has gone free, and the low-credit notice should not imply that everything is now free.
Whichever is chosen, the words a person reads about low credit (internal/manual/chat/openrouter-credits.md and models-and-cost.md) should say what the judge does.
Where
internal/pool/judge/judge.go:Candidates. Search forA free row is a rate-limited.cmd/codeaf/poolrecord.go: the judge loop. Search forjudge.Candidates(models(), seats, judge.DefaultFloor).internal/credits/credits.go:LowCreditsUSDandReading.Low.
Raised while merging #1440 into santos/dev2 for #1410.
- Ngôn ngữ chính
- Go
- Star
- 115
- Fork
- 14
- Merge trung bình
- 9 giờ 38 phút
- Pull request đã merge (30 ngày)
- 730
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của Agent-Field/CodeAF
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
Agent-Field/CodeAF#1489 ·
-
area:chat bug good first issue sev:papercut
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Agent-Field/CodeAF#1470 ·
-
area:chat bug good first issue sev:papercut
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 85/100
Agent-Field/CodeAF#1469 ·
-
area:chat bug sev:papercut
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
Agent-Field/CodeAF#1468 ·
-
area:tests bug hygiene sev:papercut
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100
Agent-Field/CodeAF#1460 ·
Tất cả issue của Agent-Field/CodeAF
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
prometheus/procfs#872 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
bazel-contrib/rules_go#4726 · 1 bình luận ·
-
area/auto-scaling area/monitoring area/ops-productivity kind/enhancement
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 74/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100