Multi-device support meta-thread
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 25/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Đình trệ
- Lĩnh vực
- backend-api-design, data
Hướng nghiên cứu
Đây là một tracker xuyên dự án, bao quát Array API, array-api-strict, array-api-tests, array-api-compat, array-api-extra, NumPy, CuPy, PyTorch, JAX, Dask và SciPy. Hãy bắt đầu bằng cách chọn một khoảng trống cụ thể trong backend hoặc test và đọc các issue cùng pull request được liên kết; tracker không định nghĩa một thay đổi duy nhất hay điều kiện hoàn thành.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
This is a tracker of the current state of support for more than one device at once in the Array API, its helper libraries, and the libraries that implement it.
Supporting multiple devices at the same time is typically substantially more fragile than pinning one of the available devices at interpreter level and then using that one exclusively, which typically works as intended.
Array API
- Dictates that the device of the output arrays must always follow from that of the input(s), unless explicitly overridden by a
device=kwarg, where allowed. - Is frequently misinterpreted when it comes to priority of input arrays vs. global/context device: https://github.com/data-apis/array-api/pull/919
- There is controversy on what
__array_namespace_info__().default_device()should return: https://github.com/data-apis/array-api/issues/835
array-api-strict
- Supports three hardcoded devices, "cpu", "device1", "device2". This is fit for purpose for testing downstream bugs re. device propagation.
array-api-tests
- Devices are untested: https://github.com/data-apis/array-api-tests/issues/302
array-api-compat
- Adds device param to numpy 1, cupy, torch, and dask (read below).
- Implements helper functions
device()andto_device()to work around non-compliance of wrapped libraries
array-api-extra
- Full support and testing for non-default devices, using array-api-strict only. Actual support from real backends entirely depends on the below.
NumPy
- It supports a single dummy device, "cpu".
array-api-compatbackports it to NumPy 1.x.
CuPy
- Non-compliant support for multiple devices.
- array-api-compat adds a dummy
device=parameter to functions. - A compatibility layer is being added at the moment of writing by https://github.com/data-apis/array-api-compat/pull/293. [EDIT] it can't work, as array-api-compat can't patch methods.
- As it doesn't have a "cpu" device, it's impossible to test multi-device ops without access to a dual-GPU host.
PyTorch
- Fully supported (with array-api-compat shims)
- However there's a bug that hampers testing on GPU CI: https://github.com/pytorch/pytorch/issues/150199
JAX
- Bugs in
__array_namespace_info__: https://github.com/jax-ml/jax/issues/27606 - Inside
jax.jit, input-to-output device propagation works, but it's impossible to call creation functions (empty,zeros,full, etc.) on a non-default device: https://github.com/jax-ml/jax/issues/26000
Dask
- Dask doesn't have a concept of device
- array-api-compat adds stub support, that returns "cpu" when wrapping around numpy and a dummy
DASK_DEVICEotherwise. Notably, this is stored nowhere and does not survive a round-trip (device(to_device(x, d) == dcan fail). - This is a non-issue when wrapping around numpy, or when wrapping around cupy with both client and workers mounting a single GPU.
- Multi-GPU Dask+CuPy support could be achieved by starting separate worker processes on the same host and pinning the GPU at interpreter level. This is extremely inefficient as it incurs in IPC and possibly memory duplication. If a user does so, the client and array-api-compat will never know.
dask-cudamay improve the situation (did not investigate).
SciPy
- Largely untested. Initial attempt to test: https://github.com/scipy/scipy/pull/22756
- Ngôn ngữ chính
- Python
- Star
- 281
- Fork
- 52
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Không có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của data-apis/array-api
-
bug Maintenance Narrative Content
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 88/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100
-
Maintenance
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
Tất cả issue của data-apis/array-api
Issue tương tự
-
New InternshipĐang mởnew_internship
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 70/100
-
[BUG] Reports tab: "Unban" button tooltip shows raw `{{ip}}` placeholder instead of the IP addressĐang mởbug javascript ui
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
bunkerity/bunkerweb#4001 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
bug
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 92/100
PedestrianDynamics/pyFDS-Evac#476 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
google/differential-privacy#516 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
adobe-fonts/source-serif#153 ·