integer_compression_codec: stored size anchors are impossible for the documented Varint starter

Đang mở
  • Có gì không ổn?
#52 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 2 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
54/100
Loại issue
Lỗi
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
python
Lĩnh vực
testing-qa

Hướng nghiên cứu

Read baseline_results.json and scoring_scheme.md, then reproduce the reported starter run with the listed sforge build and judge_local.py commands. Compare the per-dataset encoded sizes with the stored anchors and trace how the scoring calculation uses them. Decide how to handle the scale change while preserving the stated throughput anchors, then verify the starter and top-file scores against the issue's reported ranges.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Task

integer_compression_codec

Claim

The stored size anchors in baseline_results.json can't come from the documented baseline. scoring_scheme.md says the baseline is the Varint starter, and Varint writes at least 8 bits per integer, yet five of eight anchors are below 8 (5.13 on docids) and all eight are below the starter's real size. Each dataset is off by a different factor, 1.23 to 8.23.

Impact

Every score uses these anchors. With the starter's exact sizes, the starter's raw score goes from 0.24-0.25 to 0.83-0.88 (documented 1.0) and our top file from 73.78 to raw 167.38-167.51, which clips on the 0..100 scale, so a fix needs a scale decision.

Evidence and how to reproduce

On community f92857a3, after python -m sforge build --task integer_compression_codec, grade the starter with python3 tools/judge_local.py --task-dir edgebench/tasks/integer_compression_codec --image edgebench.judge.integer_compression_codec:d5de821d0a38 --empty --out result.json and read metrics.per_dataset[].encoded_bytes in the structured result inside log_tail: encoded_bytes * 8 / n is 38.98 on docids, against the stored 5.13, on every run.

Limits

Throughput anchors stay as they are (Known issue 2). All real submissions here come from one agent's two runs.

Ngôn ngữ chính
Python
Star
474
Fork
20
Merge trung bình
3 ngày 6 giờ
Pull request đã merge (30 ngày)
3

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của ByteDance-Seed/EdgeBench

Tất cả issue của ByteDance-Seed/EdgeBench

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.