LEAD/LAG with offset 0 and IGNORE NULLS returns the default for a NULL row, unlike the form without IGNORE NULLS

Đang mở
  • Có gì không ổn?
#27,284 1 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

@0xamlab đang làm issue này rồi.

Từ ngày 10/11/2026.

  • #27313 của @0xamlab — đang mở

Đánh giá

Độ khó
2/5
Thời gian dự kiến
1-3 giờ
Mức phù hợp với người mới
35/100
Loại issue
Lỗi
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Đình trệ
Công nghệ
rust, sql
Lĩnh vực
backend-api-design, databases

Hướng nghiên cứu

Read datafusion/functions-window/src/lead_lag.rs, focusing on WindowShiftEvaluator::evaluate and the offset-zero path in evaluate_all_with_ignore_null. Start by checking the existing window function tests for LEAD and LAG with IGNORE NULLS; add coverage for offset 0 on a NULL current row. Done means both functions preserve NULL instead of returning the default, with the tests passing.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Describe the bug

lead(v, 0, d) and lag(v, 0, d) return the current row's own value. Without IGNORE NULLS a NULL row stays NULL. With IGNORE NULLS the default d replaces it.

To Reproduce
SELECT id,
       lead(v, 0, -7) OVER (ORDER BY id) AS lead_plain,
       lead(v, 0, -7) IGNORE NULLS OVER (ORDER BY id) AS lead_ignore_nulls,
       lag(v, 0, -7) OVER (ORDER BY id) AS lag_plain,
       lag(v, 0, -7) IGNORE NULLS OVER (ORDER BY id) AS lag_ignore_nulls
FROM (VALUES (1, 10), (2, NULL), (3, 30)) AS t(id, v)
ORDER BY id;

On 55.2.0 (datafusion-python 55.0.0):

| id | lead_plain | lead_ignore_nulls | lag_plain | lag_ignore_nulls |
| 1  | 10         | 10                | 10        | 10               |
| 2  | NULL       | -7                | NULL      | -7               |
| 3  | 30         | 30                | 30        | 30               |
Expected behavior

Row 2 should be NULL in all four columns. Offset 0 refers to the current row itself, so there is no row to skip and nothing out of range that would call for the default. Apache Spark 4.0 returns the row's own value (NULL) for lead(v, 0, -7) IGNORE NULLS, the same as without IGNORE NULLS.

Additional context

In datafusion/functions-window/src/lead_lag.rs the two code paths disagree on this input as written:

  • evaluate_all_with_ignore_null starts with if offset == 0 { return Ok(Arc::clone(array)) }, so a NULL stays NULL.
  • WindowShiftEvaluator::evaluate ends with "Set the default value if ... ignore nulls mode and current value is null", which turns a NULL current row into the default when the offset is 0.

Offsets of 1 or more are not affected by this; the offset 0 case is only reached by an explicit 0.

Separately, #25471 (fixed on main by #25472) covers LEAD with an offset of 2 or more returning wrong rows across NULL gaps. The published 55.2.0 crate still has the old code for that.

Ngôn ngữ chính
Rust
Star
9.6k
Fork
2.6k
Merge trung bình
3 ngày 4 giờ
Pull request đã merge (30 ngày)
345

Chuẩn bị môi trường

Mở trong Codespaces

Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của apache/datafusion

Tất cả issue của apache/datafusion

Issue tương tự

Thêm issue về Rust

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.