Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

The bashloop benchmark cannot measure its bash arm because it always passes --db

Đang mở
  • Có gì không ổn?
#1,445 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
3/5
Thời gian dự kiến
1-2 ngày
Mức phù hợp với người mới
76/100
Loại issue
Lỗi
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
go
Lĩnh vực
cli, testing

Hướng nghiên cứu

Start in bench/bashloop/door.go:169 and runDoDoor, then compare the bash and older-engine invocations with cmd/codeaf/do.go:3430 and runRoadRefusesStore. Run the deterministic reproduction and the argument-table test; done means the bash arm omits -db, the older-engine arm retains it, and the pair benchmark records calls for both without a --db refusal.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

area:headless bug sev:papercut

Found on santos/dev2 at 008363c98 (#1410). It reaches dev when #1410 merges.

What happened

On 2026-09-24, go run ./bench/bashloop -mode pair -door do completed its older-engine arm but made zero calls in its bash arm. That arm was recorded as could-not-run after codeaf do answered --db names a store only the older engine works in; … Drop --db, or set CODEAF_TASK_BELT=node to run this on the older engine. The benchmark therefore cannot compare the default belt.

Replication

Deterministic (no model). The refusal comes before any model call, so any key value will do:

export CODEAF_HOME=$(mktemp -d) HOME=$(mktemp -d) OPENROUTER_API_KEY=<any non-empty value>
R=$(mktemp -d) && git -C "$R" init -q && git -C "$R" commit -q --allow-empty -m init
env -u CODEAF_TASK_BELT codeaf do -w "$R" -db "$CODEAF_HOME/graph.db" -timeout 60s -yes-spend -json noop; echo "exit $?"

Today it prints the --db names a store only the older engine works in refusal and exit 1. That is the call the benchmark's bash arm makes. With CODEAF_TASK_BELT=node the same command is accepted.

Field (real models). go run ./bench/bashloop -mode pair -door do with OPENROUTER_API_KEY and deepseek/deepseek-v4-flash: a few minutes and a few cents. The older-engine arm makes its calls and passes; the bash arm makes 0 calls and ends could-not-run.

Where

bench/bashloop/door.go:169, runDoDoor, appends -db; cmd/codeaf/do.go:3430, runRoadRefusesStore, rejects it on the bash road.

The fix

Pass -db only to the older-engine arm. Give the bash arm its supported store setup and keep the two arms' receipts comparable.

Acceptance

  • e2e: go run ./bench/bashloop -mode pair -door do records at least one call for each arm, with neither marked could-not-run for --db.
  • Unit: an argument-table test asserts the bash invocation omits -db and the older-engine invocation retains it.
  • Update benchmark instructions and a change entry's invalidates.
Ngôn ngữ chính
Go
Star
115
Fork
14
Merge trung bình
9 giờ 37 phút
Pull request đã merge (30 ngày)
755

Chuẩn bị môi trường

Chúng tôi chưa kiểm tra các tệp thiết lập môi trường của dự án này. Hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của Agent-Field/CodeAF

Tất cả issue của Agent-Field/CodeAF

Issue tương tự

Thêm issue về Go

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.