[RFC]: add APIs for array equality to a scalar
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 30/100
Hướng nghiên cứu
Bắt đầu bằng cách xem xét các phép toán kiểm tra tính bằng nhau hiện có của array API và issue Zarr được liên kết để hiểu các trường hợp sử dụng được đề xuất. Một đóng góp hoàn chỉnh sẽ cần một API được thống nhất cho các phép kiểm tra tất cả bằng nhau, tất cả không bằng nhau và có khả năng không bằng nhau, cùng với các thay đổi tương ứng đối với đặc tả và các bài kiểm thử.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Today, there are a few cases where people might want to check equality to a scalar.
import numpy as np
is_all_zero = np.all(arr == 0)
However, this code is terribly inefficient for out of memory array.
It can force them to go through the entire memory.
I think that we can do much better to define an operation that will check for
- All equal
- All not equal
and those can be implemented in more "streamed" fashion, that allow the underlying implementation to not create a full boolean array for arr == 0.
Second, I would like to propose an API for "likely not equal", where the strick inequality is not guaranteed.
For data compression, we might just be intrested in learning if the dataset is worth compressing or not:
Zarr for example does this:
https://github.com/zarr-developers/zarr-python/issues/3627
For example, consider the task to compress a 800MB array.
Zarr today:
- Checks for equality to zero
- If all zeros, it skips things
- if not zeros, it compresses things
But if you have an out of memory data array, it may be hard to guarantee that things are not all zero, but the check likely doesn't matter, since with modern compression algorithm all zeros can be efficiently compressed.
>>> import numpy as np
>>> import numcodecs
>>> a = np.zeros((100, 1024, 1024), dtype='float64')
>>> len(numcodecs.blosc.compress(a, b'zstd', 7))
67216
On my computer, the equality check is roughly the same order of magnitude as the compression itself:
In [14]: %time numcodecs.blosc.compress(a, b'zstd', 7);
CPU times: user 2.04 s, sys: 903 μs, total: 2.04 s
Wall time: 266 ms
In [15]: %time np.all(a==0 );
CPU times: user 21.4 ms, sys: 109 ms, total: 130 ms
Wall time: 140 ms
so if zarr misses one of my images, because I think it has non-zero element, its likely not the end of the world in terms of system performance, but if I have to "guarantee that the images are non zero" that can be a costly operation that can't be done through my implementation easily "without checking every single element".
For not, without these APIs, today, zarr does something like:
- Create an empty array
- Check for equality with that empty array
Alternative:
I could likely check numpy metadata like strides and create my own fastpath for this:
>>> zero = np.zeros(1)
>>> a, zero = np.broadcast_arrays(a, zero)
>>> zero.strides
(0, 0, 0)
but this seems more like a hack and would be implicitely redefining "equality operation" to "likely equal" which isn't correct.
- Ngôn ngữ chính
- Python
- Star
- 281
- Fork
- 52
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của data-apis/array-api
-
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 88/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100
-
Maintenance
data-apis/array-api#1012 · 2 bình luận · 1 người được giao ·
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
Tất cả issue của data-apis/array-api
Issue tương tự
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
use-agent-os/agent-os#3314 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
BasedHardware/omi#15662 · 1 bình luận ·
-
documentation help wanted
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 90/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 62/100
AiursoftWeb/AnduinOS-2#19 ·