apple_incremental_game: 8 cases at once on 4 CPUs move deadline solvers by 3-11 points

Đã đóng
  • Có gì không ổn?
#44 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 2 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
3/5
Thời gian dự kiến
1-2 ngày
Mức phù hợp với người mới
48/100
Loại issue
Lỗi
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
python
Lĩnh vực
testing

Hướng nghiên cứu

Read #40 for the pool mechanism and #41 for the control and reproduction commands. Check how the judge sets max_workers and whether it reads SFORGE_CPUS as SCHEMA specifies. Compare results at the official 4 CPU setting; done means limiting the pool prevents the score and timeout effects described here while preserving the reported passing cases.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Task

apple_incremental_game

Claim

The judge runs 8 cases at once on the official 4 CPUs (max_workers=min(8, len(case_files))), so each case gets about half the CPU that 4 at a time would give it. SCHEMA says a parallel grader "sizes the pool with SFORGE_CPUS, not nproc". The pool mechanism is the one in #40.

Impact

A solution that reads the clock searches less: seven real files gain 3.65-10.86 of 100 at 4 at a time (14 pairs, 4 vCPUs online, one judge), and two with their own cutoffs at 22 s and 25 s don't change. None loses a case on a quiet host, and all 89 grades in our agent runs passed 50 of 50. A solution with a fixed cost above about 15 s of CPU per case times out: our control gets 2 of 50 OK and score 0. We hold no real solver that does this at official settings; the Regression summary's "historical 1 (no time check)" and Known issue 3's submission may.

Evidence and how to reproduce

The control and the commands are in #41. Community at f92857a gives 2 of 50 OK, score 0; 4 at a time gives 50 of 50 OK, score 5.04 (n=2 per judge).

Proposed fix

min(8, SFORGE_CPUS, cases), in #41.

Limits

Part of Known issue 3, which stays: limits are wall clock. Whether this is a scoring defect or a resource-policy change depends on whether the archived submissions above lose cases on your host. We can't test that.

Ngôn ngữ chính
Python
Star
474
Fork
20
Merge trung bình
3 ngày 6 giờ
Pull request đã merge (30 ngày)
3

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của ByteDance-Seed/EdgeBench

Tất cả issue của ByteDance-Seed/EdgeBench

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.