Skipped flaky tests

Đang mở

#300 mở ngày 14/11/2024 10 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó: 4/5
Thời gian dự kiến: 3-5 ngày
Mức phù hợp với người mới: 45/100

Loại issue: Lỗi
Độ rõ ràng: Khá rõ ràng
Mức độ hoạt động: Đình trệ
Công nghệ: python
Lĩnh vực: testing

Hướng nghiên cứu

Bắt đầu bằng cách xác định và chạy các test đã nêu: test_reshape, test_std, test_var, test_remainder và test_count_nonzero. Kiểm tra lý do các test bị bỏ qua hoặc không ổn định giữa các implementation, đặc biệt là JAX, đồng thời vẫn để các kiểm tra health của timeout bị bỏ qua và xử lý các kiểm tra health của filtering thông qua strategy. Được xem là hoàn tất khi các test được liệt kê chạy ổn định mà không bị bỏ qua không phù hợp và vẫn xác minh behavior dự kiến.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

high priority

Several tests are completely skipped right now because they are "flaky".

test_reshape
test_std
test_var
test_remainder

This is a pretty high priority issue because these functions are effectively completely untested, even though they appear to be tested.

Tests should be written in such a way that they aren't flaky, for instance, by using high numerical tolerances (or if necessary, avoiding values testing entirely).

Note that health checks for timeouts should just be skipped, and health checks for filtering too much should be fixed by fixing the strategy.

EDIT:

test_count_nonzero is not skipped but is flaky on JAX. Some discussion is at https://github.com/data-apis/array-api-tests/pull/347#issuecomment-2695654862

Ngôn ngữ chính: Python
Star: 74
Fork: 54
Merge trung bình: 4 giờ 35 phút
Pull request đã merge (30 ngày): 4

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Bắt đầu từ đâu

Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
Fork repository và làm thay đổi trên một nhánh.
Mở pull request có tham chiếu số hiệu của issue.

Issue khác của data-apis/array-api-tests

No coverage for `__imatmul__` (`@=`) Đang mở

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 87/100

data-apis/array-api-tests#465 · 1 bình luận · Mở ngày 11/9/2026
Test reflected operators? Đang mở

Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 68/100

data-apis/array-api-tests#460 · 1 bình luận · Mở ngày 29/8/2026
test_trace sporadically fails under numpy Đang mở

Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 68/100

data-apis/array-api-tests#455 · 2 bình luận · Mở ngày 17/8/2026
Pain points in using the test suite Đang mở

tracking

Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100

data-apis/array-api-tests#381 · 9 bình luận · Mở ngày 1/6/2025
Providing reproduction code for failed test cases Đang mở

Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 38/100

data-apis/array-api-tests#379 · 10 bình luận · Mở ngày 21/5/2025

Tất cả issue của data-apis/array-api-tests

Issue tương tự

Calibration reader uses the wrong batches after set_range and cannot replay bounded ranges Đang mở

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100

microsoft/Olive#2688 · Mở ngày 25/9/2026
Registry special-param check rejects PEP 604 `X | None` (only unwraps typing.Union) Đang mở

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 86/100

browser-use/browser-use#5905 · Mở ngày 25/9/2026
Set header user-agent to AYON API version Đang mở

type: enhancement

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100

ynput/ayon-python-api#363 · Mở ngày 25/9/2026
load_pretrained_model deep-copies the whole state dict, doubling peak load memory Đang mở

bug needs triage

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100

modelscope/FunASR#3728 · Mở ngày 25/9/2026
[Bug] FollowBench post-processing runs eval() on model output (arbitrary code execution) Đang mở

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100

open-compass/opencompass#2655 · Mở ngày 25/9/2026

Thêm issue về Python