Tests are too slow for libraries with eager-mode dispatch overhead

Đang mở

#197 mở ngày 9/11/2023 16 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó: 4/5
Thời gian dự kiến: 3-5 ngày
Mức phù hợp với người mới: 35/100

Loại issue: Lỗi
Độ rõ ràng: Cần làm rõ
Mức độ hoạt động: Đình trệ
Công nghệ: python
Lĩnh vực: performance, testing

Hướng nghiên cứu

Bắt đầu với job GitHub Actions được liên kết và bộ test array-api-tests để tái hiện lần chạy 4.5-hour đã được báo cáo và kiểm tra test nào chi phối thời gian chạy. Issue không nêu tên các file mã nguồn hoặc entry point của test; công việc được xem là hoàn thành khi giảm đáng kể thời gian test trong eager-mode đồng thời vẫn giữ nguyên phạm vi bao phủ compliance và kết quả của bộ test.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

For example this job: https://github.com/google/jax/actions/runs/6804780902/job/18502996983, which is associated with https://github.com/google/jax/pull/16099 took 4.5 hours to run about 1000 tests.

========== 567 failed, 439 passed, 116 skipped in 16419.47s (4:33:39) ==========

This is slow enough to be virtually unusable.

~~Is there anything I can do to speed up the tests during development of the JAX array API?~~

Edit: as mentioned below, this is due to the frequent use of patterns within the tests that every value in each array via indexing, and the fact that in eager execution, each of these indexing operations have a small dispatch overhead that leads to slow tests when arrays are large.

Ngôn ngữ chính: Python
Star: 74
Fork: 54
Merge trung bình: 4 giờ 35 phút
Pull request đã merge (30 ngày): 4

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Bắt đầu từ đâu

Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
Fork repository và làm thay đổi trên một nhánh.
Mở pull request có tham chiếu số hiệu của issue.

Issue khác của data-apis/array-api-tests

No coverage for `__imatmul__` (`@=`) Đang mở

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 87/100

data-apis/array-api-tests#465 · 1 bình luận · Mở ngày 11/9/2026
Test reflected operators? Đang mở

Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 68/100

data-apis/array-api-tests#460 · 1 bình luận · Mở ngày 29/8/2026
test_trace sporadically fails under numpy Đang mở

Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 68/100

data-apis/array-api-tests#455 · 2 bình luận · Mở ngày 17/8/2026
Pain points in using the test suite Đang mở

tracking

Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100

data-apis/array-api-tests#381 · 9 bình luận · Mở ngày 1/6/2025
Providing reproduction code for failed test cases Đang mở

Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 38/100

data-apis/array-api-tests#379 · 10 bình luận · Mở ngày 21/5/2025

Tất cả issue của data-apis/array-api-tests

Issue tương tự

PATCH /interviews/{id} 的 goal 字段没有任何长度上限，500KB 字符串直接落库且每次 GET detail 都全量带回 Đang mở

bug

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100

xinnan-tech/xiaozhi-fde-talk#263 · Mở ngày 24/9/2026
rules: REQ-0480 'left fold' jargon is redundant with its own plain restatement Đang mở

rules

Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 90/100

elong0527/yamaa#978 · Mở ngày 24/9/2026
Validation discards output from runners that report on stderr (jest, unittest) Đang mở

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100

huggingface/Repo2RLEnv#163 · 1 bình luận · Mở ngày 24/9/2026
Source link in quantize_embeddings have shifted code highlights Đang mở

Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 95/100

huggingface/sentence-transformers#4074 · Mở ngày 24/9/2026
Queue insertion button ("插入排队消息") missing in api_server sessions — canInsert allowlist only covers cli/global_agent Đang mở

comp/dashboard invalid P3

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100

NousResearch/hermes-agent#121143 · Mở ngày 24/9/2026

Thêm issue về Python