arc_compiler_runtime: hidden type-system suites need analyze() to return an array, which nothing the agent sees says

Aperta Adatta ai principianti
  • Qualcosa non va?
#48 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 2 giorni

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
2/5
Tempo stimato
1-3 ore
Idoneità per principianti
73/100
Tipo di issue
Bug
Chiarezza
Specificata chiaramente
Stato di attività
Attiva
Stack tecnologico
javascript, python
Ambito
testing-qa

Direzione di ricerca

Inizia leggendo le istruzioni dell’attività di arc_compiler_runtime, TASK.md, CHEATSHEET.md, spec/, docs/ e gli smoke test pubblici, poi esamina compiler/src/semantic.js e il risultato di analyze() atteso dalle suite nascoste. Il rapporto dice che i test nascosti chiamano .filter() sul valore restituito e si aspettano diagnostiche con level e message. Il lavoro è completo quando le indicazioni pubbliche e il progetto iniziale concordano con la forma attesa e gli errori riprodotti delle suite nascoste sono risolti.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Task

arc_compiler_runtime

Claim

The hidden type-system suites call analyze(parse(lex(source))).filter(...), so analyze() must return an array of diagnostics with level and message. The instruction, TASK.md, CHEATSHEET.md, spec/, docs/ and the public smoke tests don't say so, and the starter's analyze() returns an object. A submission that keeps that shape gets TypeError on all of those suites.

Impact

128 of 448 cases, 1000 of 2970 weighted points: 33.67 of 100. A real Opus 5.5 solver scores 61.31 unchanged and 94.81 with a wrapper that returns its own diagnostics as an array (n=8 each, no spread).

Evidence and how to reproduce

On community f92857a3, with agent36.tar.gz from https://github.com/findalexli/EdgeBench/tree/da540564098c8bbc0ad5b9b4cfce0ce53045f8d6/arc_compiler_runtime (sha256 d5750fae068923eac198a843efcb96fbcb7d095c67b18ba6c6f4ddfd9547d5f6):

python -m sforge build --task arc_compiler_runtime
J="--task-dir edgebench/tasks/arc_compiler_runtime --image edgebench.judge.arc_compiler_runtime:ce45e420e181"
python3 tools/judge_local.py $J --archive agent36.tar.gz --out object.json      # 1821 of 2970
mkdir a && tar xzf agent36.tar.gz -C a
echo '{ const f = module.exports.analyze; module.exports.analyze = (p, o) => { const r = f(p, o); return Object.assign([...(r.diagnostics || [...(r.errors || []), ...(r.warnings || [])])], r); }; }' >> a/compiler/src/semantic.js
tar czf agent36_array.tar.gz -C a compiler
python3 tools/judge_local.py $J --archive agent36_array.tar.gz --out array.json  # 2816 of 2970
Limits

A solver can guess the shape: historical 5 in NOTES.md scored 79.80, above the 66.33 ceiling.

Lingua principale
Python
Stelle
474
Fork
20
Merge medio
3g 6h
PR unite (30g)
3

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di ByteDance-Seed/EdgeBench

Tutte le issue di ByteDance-Seed/EdgeBench

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.