Better support for symbolic (e.g. jax tracer) values in non-index coordinates
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 42/100
Hướng nghiên cứu
Bắt đầu với xarray/core/variable.py, ở phần xung quanh phép so sánh tính tương thích được tham chiếu trong issue, sau đó lần theo cách xử lý tọa độ số học, xr.align và các cài đặt xarray.set_options hiện có. Xem lại phần thảo luận để xác định cách tiếp cận nào trong ba cách tiếp cận về tính tương thích được chấp nhận; công việc được xem là hoàn tất khi hành vi đã chọn được triển khai nhất quán và có kiểm thử cho các giá trị tọa độ ký hiệu.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Is your feature request related to a problem?
Hello! xarray_jax maintainer here.
I am trying to decide whether it is feasible to rely on using symbolic arrays (such as jax tracers used during JIT compilation) as coordinate data in xarray.
For index coordinates this doesn't work at all, because xarray requires dynamic access to the data in the index to do alignment. So our approach in xarray_jax is to treat index coordinates as static data. I think this is acceptable: even if we could do index alignment with tracers, the result would be variable-shape which jax.jit can't handle without re-tracing anyway.
For non-index coordinates though, it is possible to use jax tracers! However these coordinates have a habit of disappearing due to failed alignment checks, for example in arithmetic operations:
import xarray as xr
import jax
import jax.numpy as jnp
def foo(coord):
a = xr.DataArray(data=jnp.ones(3), dims=['x'], coords={'foo': (['x'], coord)})
b = xr.DataArray(data=jnp.ones(3), dims=['x'], coords={'foo': (['x'], coord)})
print((a + b).coords)
foo(jnp.arange(3))
# prints:
# Coordinates:
# foo (x) int32 12B ...
jax.jit(foo)(jnp.arange(3))
# prints:
# Coordinates:
# *empty*
The coordinate is (correctly) preserved when not JIT-ing, because xarray is able to do an equality comparison to check that the coordinate is compatible.
When JITing however, the coordinate array will be a jax Tracer, and the equality comparison will fail with a jax.errors.TracerBoolConversionError (or similar). xarray catches this under the hood here since TracerBoolConversionError subclasses TypeError. xarray then treats the failed comparison as not-equal resulting in the coordinate being dropped.
This isn't entirely consistent with behaviour elsewhere in xarray.
For example when doing an explicit merge it is possible to set compat='override' which ensures that coordinates aren't tested for equality and so jax tracers survive. And I believe compat='override' is to become the default soon.
xr.align also lets jax Tracers survive:
def foo(coord):
a = xr.DataArray(data=jnp.ones(3), dims=['x'], coords={'foo': (['x'], coord)})
b = xr.DataArray(data=jnp.ones(3), dims=['x'], coords={'foo': (['x'], coord)})
a, b = xr.align(a, b)
print(a.coords)
print(b.coords)
jax.jit(foo)(jnp.arange(3))
# prints:
# Coordinates:
# foo (x) int32 12B ...
# Coordinates:
# foo (x) int32 12B ...
Overall, while I can see why some might want them, these compatibility checks on non-index coordinates seem a bit of an awkward niche behaviour which is configurable in some places but not others, and (at least after the compat='override' default takes over) will have different defaults in different places too IIUC, which is not ideal. And of course they throw a bit of a spanner in the works of using jax here.
Describe the solution you'd like
Three suggestions:
-
Add a
xarray.set_options(arithmetic_compat='override')setting which controls this, and make 'override' the default for it at the same timecompat='override'becomes the default more widely. Note there is already anarithmetic_joinsetting which controls how index coordinates are joined/aligned, but this doesn't give any control over these compatibility checks on non-index coordinates.
One might also consider exposing thecompatoption onxr.aligntoo and any other places where compatibility checks are happening or for consistency ought to happen, to give control over this. -
Allow
jax.errors.TracerBoolConversionErrorto bubble up from generic equality-testing code (or perhaps catch and reraise it as something less jax-specific likexr.SymbolicComparisonError) rather than catching it and treating it as unequal. Then in coordinate compatibility-checking code, catch this error and fall back oncompat='override'behavior in this specific case. This has the advantage that non-index-coord compatibility checks don't have to be disabled across the board, only for jax Tracers. It would require some jax-specific special case in xarray though. -
Just to get rid of alignment checks on non-index coordinates entirely, if noone feels strongly about them. They are already somewhat inconsistent both in configurability and in default behaviour. In many cases it's a safe assumption that any non-index coordinates are a fixed function of the index coordinates and so it's sufficient to check for alignment of the index coordinates. And perhaps other cases it would be OK to make any checking the user's responsibility. I realise this would be backwards-incompatible though.
Describe alternatives you've considered
See above.
Additional context
No response
- Ngôn ngữ chính
- Python
- Star
- 4.2k
- Fork
- 1.5k
- Merge trung bình
- 2 ngày 21 giờ
- Pull request đã merge (30 ngày)
- 74
Chuẩn bị môi trường
Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.
- Không có Dockerfile hay tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của pydata/xarray
-
xarray removes axis grid from pcolormeshCó thể đã có người làm @Sealdot đã nhận hôm nay. Đang mởbug needs triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
Maintainer thường phản hồi trong vòng 1 ngày
-
`DataTree.map_over_datasets` behavior can be obscure sometimesCó thể đã có người làm @mohansree14 đã nhận 24 ngày trước. Đang mởneeds triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
pydata/xarray#11813 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Comparing attrs that contain a dict of NumPy arrays raises ValueError in identical / assert_identicalCó thể đã có người làm @SohamXYZDev đã nhận 29 ngày trước. Đang mởbug needs triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 73/100
pydata/xarray#11777 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
RangeIndex` with datetime64 bounds cannot be printed (`Unknown format code 'g'`)Có thể đã có người làm @d-chambers đã nhận 60 ngày trước. Đang mởbug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
pydata/xarray#11598 · 3 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
DataTree constructor error message says dict even though dict is not acceptedCó thể đã có người làm @aryansk đã nhận 100 ngày trước. Đang mởbug contrib-good-first-issue topic-DataTree topic-error reporting
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
pydata/xarray#11514 · 2 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của pydata/xarray
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
abetlen/llama-cpp-python#2424 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Bug IronPython Python 3
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
pyrevitlabs/pyRevit#4184 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
CLAW (Agents & Orchestration)Đang mở
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 74/100
jqueryscript/awesome-claude-code#1009 ·
-
tests
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 66/100
Maintainer thường phản hồi trong vòng 3 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
Maintainer thường phản hồi trong vòng 1 ngày