The bashloop benchmark cannot measure its bash arm because it always passes --db
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Aptitud para principiantes
- 76/100
Línea de trabajo
Start in bench/bashloop/door.go:169 and runDoDoor, then compare the bash and older-engine invocations with cmd/codeaf/do.go:3430 and runRoadRefusesStore. Run the deterministic reproduction and the argument-table test; done means the bash arm omits -db, the older-engine arm retains it, and the pair benchmark records calls for both without a --db refusal.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Found on santos/dev2 at 008363c98 (#1410). It reaches dev when #1410 merges.
What happened
On 2026-09-24, go run ./bench/bashloop -mode pair -door do completed its older-engine arm but made zero calls in its bash arm. That arm was recorded as could-not-run after codeaf do answered --db names a store only the older engine works in; … Drop --db, or set CODEAF_TASK_BELT=node to run this on the older engine. The benchmark therefore cannot compare the default belt.
Replication
Deterministic (no model). The refusal comes before any model call, so any key value will do:
export CODEAF_HOME=$(mktemp -d) HOME=$(mktemp -d) OPENROUTER_API_KEY=<any non-empty value>
R=$(mktemp -d) && git -C "$R" init -q && git -C "$R" commit -q --allow-empty -m init
env -u CODEAF_TASK_BELT codeaf do -w "$R" -db "$CODEAF_HOME/graph.db" -timeout 60s -yes-spend -json noop; echo "exit $?"
Today it prints the --db names a store only the older engine works in refusal and exit 1. That is the call the benchmark's bash arm makes. With CODEAF_TASK_BELT=node the same command is accepted.
Field (real models). go run ./bench/bashloop -mode pair -door do with OPENROUTER_API_KEY and deepseek/deepseek-v4-flash: a few minutes and a few cents. The older-engine arm makes its calls and passes; the bash arm makes 0 calls and ends could-not-run.
Where
bench/bashloop/door.go:169, runDoDoor, appends -db; cmd/codeaf/do.go:3430, runRoadRefusesStore, rejects it on the bash road.
The fix
Pass -db only to the older-engine arm. Give the bash arm its supported store setup and keep the two arms' receipts comparable.
Acceptance
- e2e:
go run ./bench/bashloop -mode pair -door dorecords at least one call for each arm, with neither markedcould-not-runfor--db. - Unit: an argument-table test asserts the bash invocation omits
-dband the older-engine invocation retains it. - Update benchmark instructions and a change entry's
invalidates.
- Lenguaje dominante
- Go
- Estrellas
- 115
- Forks
- 14
- Merge medio
- 9 h 35 min
- PR fusionados (30 d)
- 752
Preparar el entorno
Aún no hemos revisado los archivos de configuración de este proyecto. Empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de Agent-Field/CodeAF
-
area:chat bug sev:papercut
Dificultad 2/5 1-3 horas Aptitud para principiantes 86/100
Agent-Field/CodeAF#1592 ·
Los mantenedores suelen responder en 1 día
-
area:headless bug sev:critical
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
Agent-Field/CodeAF#1566 ·
Los mantenedores suelen responder en 1 día
-
tui3: slash command completion inserts bare command prefix into prompt instead of navigatingAbiertoarea:chat bug sev:critical
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
Agent-Field/CodeAF#1548 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
area:chat feature
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
Agent-Field/CodeAF#1510 ·
Los mantenedores suelen responder en 1 día
-
area:tests bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
Agent-Field/CodeAF#1489 ·
Los mantenedores suelen responder en 1 día
Todos los issues de Agent-Field/CodeAF
Issues similares
-
area/proxy kind/bug priority/backlog triage/accepted
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
lexfrei/cloudflare-tunnel-gateway-controller#840 ·
Los mantenedores suelen responder en 1 día
-
kind/bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
Los mantenedores suelen responder en 7 días
-
bug needs triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 1 día
-
bug P2 reliability
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
afreidah/s3-orchestrator#1564 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
blinklabs-io/gouroboros#2577 ·
Los mantenedores suelen responder en 1 día