SanityCheckPlan fails after ProjectionPushdown for GROUP BY over a mark join on a struct field (regression from #26747)

Đang mở
  • Có gì không ổn?
#27,318 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

@cetra3 đang làm issue này rồi.

Từ ngày 11/11/2026.

  • #27319 của @cetra3 — đang mở

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
20/100
Loại issue
Lỗi
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Đình trệ
Công nghệ
rust, sql
Lĩnh vực
backend, databases

Hướng nghiên cứu

Start by tracing the equivalence handling described in the issue through EnsureRequirements and the ProjectionPushdown physical optimizer rule, then inspect the related regression tests around #26747. Reproduce the SQL query from the issue and check how the join’s output partitioning is represented after projection pushdown. Done means the query plans and returns a and b without the final sanity check rejecting its distribution requirements.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Describe the bug

This query fails to plan on main:

SET datafusion.execution.target_partitions = 2;
SET datafusion.optimizer.hash_join_single_partition_threshold_rows = 0;
COPY (SELECT named_struct('k', 'a') AS s) TO 'data/t/1.parquet';
COPY (SELECT named_struct('k', 'b') AS s) TO 'data/t/2.parquet';
CREATE EXTERNAL TABLE t STORED AS PARQUET LOCATION 'data/t/';

SELECT s['k'] FROM t WHERE s['k'] = 'a' OR s['k'] IN (SELECT s['k'] FROM t) GROUP BY 1;

SanityCheckPlan: order and distribution requirements stopped holding after physical optimizer rule 'ProjectionPushdown'
caused by
Error during planning: Plan: [
AggregateExec: mode=SinglePartitioned, gby=[__datafusion_extracted_2@0 as __datafusion_extracted_2], aggr=[]
  FilterExec: __datafusion_extracted_3@1 = a OR mark@0, projection=[__datafusion_extracted_2@2]
    ProjectionExec: expr=[mark@0 as mark, get_field(s@1, k) as __datafusion_extracted_3, get_field(s@1, k) as __datafusion_extracted_2]
      HashJoinExec: mode=Partitioned, join_type=LeftMark, on=[(__datafusion_extracted_4@0, t.s[k]@0)], projection=[mark@2, s@1]
        RepartitionExec: partitioning=Hash([__datafusion_extracted_4@0], 2), input_partitions=2
          DataSourceExec: file_groups={...}, projection=[get_field(s@0, k) as __datafusion_extracted_4, s], file_type=parquet
        RepartitionExec: partitioning=Hash([t.s[k]@0], 2), input_partitions=2
          DataSourceExec: file_groups={...}, projection=[get_field(s@0, k) as t.s[k]], file_type=parquet
] does not satisfy distribution requirements: KeyPartitioned[[__datafusion_extracted_2@0]]). Child-0 output partitioning: Hash([__datafusion_extracted_4@0], 2)

The settings make the join Partitioned on this small data set.

Expected behavior

The query returns a and b, as it does at 0d3aac0bde.

Additional context

A bisect points to #26747 (99e723dd47). Its parent ce0e8293f9 plans the query.

#26747 records get_field(s, k) ≡ __datafusion_extracted_4 when projecting equivalences. That lets EnsureRequirements use the join's hash partitioning for the group key and skip a repartition, which is correct. Then ProjectionPushdown moves get_field(s, k) into the DataSourceExec projection and drops __datafusion_extracted_4 through the join's embedded projection. Neither step records the equivalence again. So the join's output partitioning becomes an unknown column, and the final check rejects the plan.

No rows move in that rewrite, so the query fails to plan and never returns wrong results.

Claude Code (an AI coding assistant) investigated this and wrote this issue on behalf of cetra3. A PR with a fix follows.

Ngôn ngữ chính
Rust
Star
9.6k
Fork
2.6k
Merge trung bình
3 ngày 4 giờ
Pull request đã merge (30 ngày)
345

Chuẩn bị môi trường

Mở trong Codespaces

Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của apache/datafusion

Tất cả issue của apache/datafusion

Issue tương tự

Thêm issue về Rust

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.