graph_node_classification: a complete integer-keyed answer scores about 2
Maintainer thường phản hồi trong vòng 2 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 2/5
- Thời gian dự kiến
- 1-3 giờ
- Mức phù hợp với người mới
- 62/100
Hướng nghiên cứu
Đọc problem.md và kiểm tra cách trình xác minh tra cứu khóa dự đoán và kiểm tra độ bao phủ; tái hiện trường hợp khóa số nguyên bằng tools/judge_local.py, rồi so sánh với khóa chuỗi. Mục tiêu là một câu trả lời đầy đủ dùng khóa số nguyên được chấm nhất quán với cùng câu trả lời dùng khóa chuỗi. Issue có nhắc đến draft PR #37, vì vậy hãy kiểm tra trạng thái của PR trước khi bắt đầu.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Task
graph_node_classification
Claim
problem.md says prediction keys "can be strings or values convertible to strings", and test_nodes arrives as integers. The verifier looks up string IDs only, so a complete answer keyed by integers matches no node. Every quality metric is 0, and the run is still valid because the coverage check only counts keys.
Impact
The same predictions from an Opus 5.5 solution score 90.54-90.63 with string keys and 1.95-2.01 with integer keys (n=4). We know of no natural case: the starter and 105 solutions we hold all key by str(nid).
Evidence and how to reproduce
Change a solution's output keys from str(nid) to nid, and grade both with tools/judge_local.py. overall goes from 0.885740 to 0.
Proposed fix
Draft PR: #37.
- Ngôn ngữ chính
- Python
- Star
- 474
- Fork
- 20
- Merge trung bình
- 3 ngày 6 giờ
- Pull request đã merge (30 ngày)
- 3
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Không có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của ByteDance-Seed/EdgeBench
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 73/100
ByteDance-Seed/EdgeBench#48 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
FFmpeg: public result hides whether failure occurred before correctness checksCó thể đã có người làm @loopx-agent đã nhận 2 ngày trước. Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
ByteDance-Seed/EdgeBench#57 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
integer_compression_codec: stored size anchors are impossible for the documented Varint starterĐang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 54/100
ByteDance-Seed/EdgeBench#52 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
wesnoth_tactical_ai: top-level Lua files never run (`if io then` raises on an undefined global)Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 35/100
ByteDance-Seed/EdgeBench#51 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 48/100
ByteDance-Seed/EdgeBench#50 ·
Maintainer thường phản hồi trong vòng 2 ngày
Tất cả issue của ByteDance-Seed/EdgeBench
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 77/100
-
needs-triage tooling
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 90/100
neilsh/stunt-reel#317 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 85/100
TandoorRecipes/recipes#4926 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
PyTomography/PyTomography#431 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 74/100
igormcsouza/tether#278 ·
Maintainer thường phản hồi trong vòng 1 ngày