warehouse_forklift_routing: `TIME_LIMIT = 60` kills inputs within the stated 30 s per test case
I maintainer di solito rispondono entro 2 giorni
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 2/5
- Tempo stimato
- 1-3 ore
- Idoneità per principianti
- 35/100
Direzione di ricerca
Start with tools/judge_local.py and the README wording for the 50 inputs and per test case time limits. Reproduce the reported failure using a solver deadline above 60 seconds per input, then inspect how TIME_LIMIT and timeout scoring are applied. Done when the stated limit and judge behavior agree and the reproduction no longer yields 0 of 50 OK solely because of the 60 second cap; the issue mentions draft PR #38.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Task
warehouse_forklift_routing
Claim
The instruction gives "T=5 test cases per input" and "30 seconds per test case", but TIME_LIMIT = 60 kills an input at 60 s, and any timeout makes the total inf. This is Known issue 2. The README also calls the 50 inputs "test cases", so the limit has two readings.
Impact
A solver using more than 60 s per input gets no score: a real solver edited to a 125 s deadline gets 0 of 50 OK. We know of no real submission that does this: an Opus 5.5 run chose 20 s per input and noted the ambiguity.
Evidence and how to reproduce
Set a solver's own per-input deadline above 60 s and grade with tools/judge_local.py: valid: false, 0 of 50 OK.
Proposed fix
Draft PR: #38.
- Lingua principale
- Python
- Stelle
- 474
- Fork
- 20
- Merge medio
- 3g 6h
- PR unite (30g)
- 3
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di ByteDance-Seed/EdgeBench
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 73/100
ByteDance-Seed/EdgeBench#48 ·
I maintainer di solito rispondono entro 2 giorni
-
FFmpeg: public result hides whether failure occurred before correctness checksForse già presa @loopx-agent l’ha presa oggi. Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
ByteDance-Seed/EdgeBench#57 ·
I maintainer di solito rispondono entro 2 giorni
-
integer_compression_codec: stored size anchors are impossible for the documented Varint starterAperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 54/100
ByteDance-Seed/EdgeBench#52 ·
I maintainer di solito rispondono entro 2 giorni
-
wesnoth_tactical_ai: top-level Lua files never run (`if io then` raises on an undefined global)Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 35/100
ByteDance-Seed/EdgeBench#51 ·
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100
ByteDance-Seed/EdgeBench#50 ·
I maintainer di solito rispondono entro 2 giorni
Tutte le issue di ByteDance-Seed/EdgeBench
Issue simili
-
Remove the `pull_request_target` workflow before GitHub blocks itForse già presa @jat255 l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
IBM/mcp-context-forge#7483 ·
I maintainer di solito rispondono entro 2 giorni
-
bug good first issue
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
-
[Bug Report]: OpenAI 辅助 API 连通性测试因输出上限仅 1 token 误报“未知错误”Forse già presa @fjfanjian l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
Project-N-E-K-O/N.E.K.O#3640 ·
I maintainer di solito rispondono entro 1 giorno
-
author-page correction
Difficoltà 2/5 1-3 ore Idoneità per principianti 64/100
acl-org/acl-anthology#10808 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno