graph_node_classification: a complete integer-keyed answer scores about 2
I maintainer di solito rispondono entro 2 giorni
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 2/5
- Tempo stimato
- 1-3 ore
- Idoneità per principianti
- 62/100
Direzione di ricerca
Leggi problem.md ed esamina la ricerca della chiave di predizione e il controllo della copertura del verificatore; riproduci il caso delle chiavi intere con tools/judge_local.py e confrontalo con quello delle chiavi stringa. L’obiettivo è che una risposta completa con chiavi intere venga valutata in modo coerente con la stessa risposta con chiavi stringa. Nell’issue si menziona la PR in bozza #37, quindi controllane lo stato prima di iniziare.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Task
graph_node_classification
Claim
problem.md says prediction keys "can be strings or values convertible to strings", and test_nodes arrives as integers. The verifier looks up string IDs only, so a complete answer keyed by integers matches no node. Every quality metric is 0, and the run is still valid because the coverage check only counts keys.
Impact
The same predictions from an Opus 5.5 solution score 90.54-90.63 with string keys and 1.95-2.01 with integer keys (n=4). We know of no natural case: the starter and 105 solutions we hold all key by str(nid).
Evidence and how to reproduce
Change a solution's output keys from str(nid) to nid, and grade both with tools/judge_local.py. overall goes from 0.885740 to 0.
Proposed fix
Draft PR: #37.
- Lingua principale
- Python
- Stelle
- 474
- Fork
- 20
- Merge medio
- 3g 6h
- PR unite (30g)
- 3
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di ByteDance-Seed/EdgeBench
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 73/100
ByteDance-Seed/EdgeBench#48 ·
I maintainer di solito rispondono entro 2 giorni
-
FFmpeg: public result hides whether failure occurred before correctness checksForse già presa @loopx-agent l’ha presa oggi. Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
ByteDance-Seed/EdgeBench#57 ·
I maintainer di solito rispondono entro 2 giorni
-
integer_compression_codec: stored size anchors are impossible for the documented Varint starterAperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 54/100
ByteDance-Seed/EdgeBench#52 ·
I maintainer di solito rispondono entro 2 giorni
-
wesnoth_tactical_ai: top-level Lua files never run (`if io then` raises on an undefined global)Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 35/100
ByteDance-Seed/EdgeBench#51 ·
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100
ByteDance-Seed/EdgeBench#50 ·
I maintainer di solito rispondono entro 2 giorni
Tutte le issue di ByteDance-Seed/EdgeBench
Issue simili
-
bug good first issue
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
graphql-python/graphql-core#304 ·
I maintainer di solito rispondono entro 1 giorno
-
docs size:S
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 1/5 1-3 ore Idoneità per principianti 88/100
Gathin23/cleanyourtv#3464 ·
I maintainer di solito rispondono entro 1 giorno
-
documentation
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
I maintainer di solito rispondono entro 1 giorno