The bashloop benchmark cannot measure its bash arm because it always passes --db
Les mainteneurs répondent en général sous 1 jour
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 3/5
- Temps estimé
- 1-2 jours
- Accessibilité débutants
- 76/100
Piste de recherche
Start in bench/bashloop/door.go:169 and runDoDoor, then compare the bash and older-engine invocations with cmd/codeaf/do.go:3430 and runRoadRefusesStore. Run the deterministic reproduction and the argument-table test; done means the bash arm omits -db, the older-engine arm retains it, and the pair benchmark records calls for both without a --db refusal.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
Found on santos/dev2 at 008363c98 (#1410). It reaches dev when #1410 merges.
What happened
On 2026-09-24, go run ./bench/bashloop -mode pair -door do completed its older-engine arm but made zero calls in its bash arm. That arm was recorded as could-not-run after codeaf do answered --db names a store only the older engine works in; … Drop --db, or set CODEAF_TASK_BELT=node to run this on the older engine. The benchmark therefore cannot compare the default belt.
Replication
Deterministic (no model). The refusal comes before any model call, so any key value will do:
export CODEAF_HOME=$(mktemp -d) HOME=$(mktemp -d) OPENROUTER_API_KEY=<any non-empty value>
R=$(mktemp -d) && git -C "$R" init -q && git -C "$R" commit -q --allow-empty -m init
env -u CODEAF_TASK_BELT codeaf do -w "$R" -db "$CODEAF_HOME/graph.db" -timeout 60s -yes-spend -json noop; echo "exit $?"
Today it prints the --db names a store only the older engine works in refusal and exit 1. That is the call the benchmark's bash arm makes. With CODEAF_TASK_BELT=node the same command is accepted.
Field (real models). go run ./bench/bashloop -mode pair -door do with OPENROUTER_API_KEY and deepseek/deepseek-v4-flash: a few minutes and a few cents. The older-engine arm makes its calls and passes; the bash arm makes 0 calls and ends could-not-run.
Where
bench/bashloop/door.go:169, runDoDoor, appends -db; cmd/codeaf/do.go:3430, runRoadRefusesStore, rejects it on the bash road.
The fix
Pass -db only to the older-engine arm. Give the bash arm its supported store setup and keep the two arms' receipts comparable.
Acceptance
- e2e:
go run ./bench/bashloop -mode pair -door dorecords at least one call for each arm, with neither markedcould-not-runfor--db. - Unit: an argument-table test asserts the bash invocation omits
-dband the older-engine invocation retains it. - Update benchmark instructions and a change entry's
invalidates.
- Langage dominant
- Go
- Étoiles
- 115
- Forks
- 14
- Merge moyen
- 13 h 37 min
- PR mergées (30 j)
- 303
Préparer son environnement
Nous n'avons pas encore vérifié les fichiers d'installation de ce projet. Commencez par son README, et consultez notre guide de la première contribution pour les étapes générales.
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de Agent-Field/CodeAF
-
Difficulté 2/5 1-3 heures Accessibilité débutants 66/100
Agent-Field/CodeAF#1841 ·
Les mainteneurs répondent en général sous 1 jour
-
area:chat bug sev:papercut
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
Agent-Field/CodeAF#1805 ·
Les mainteneurs répondent en général sous 1 jour
-
area:session bug sev:papercut
Difficulté 2/5 1-3 heures Accessibilité débutants 82/100
Agent-Field/CodeAF#1779 ·
Les mainteneurs répondent en général sous 1 jour
-
tasks: a stopped task's commit is signed with the chat model, not the model that did the workOuvertearea:session bug sev:papercut
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
Agent-Field/CodeAF#1768 ·
Les mainteneurs répondent en général sous 1 jour
-
area:chat bug sev:papercut
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
Agent-Field/CodeAF#1742 ·
Les mainteneurs répondent en général sous 1 jour
Toutes les issues de Agent-Field/CodeAF
Issues similaires
-
effort:high model:sonnet phase:3 type:docs
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
-
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
OffchainLabs/nitro#4771 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 82/100
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 65/100
BurntSushi/toml#530 ·
-
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
Les mainteneurs répondent en général sous 7 jours