Overaggressive pruning of nested fields(?) breaks some valid queries unless parquet pushdown is disabled

Đang mở
  • Có gì không ổn?
#27,253 1 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

@ianthetechie đang làm issue này rồi.

Từ ngày 9/11/2026.

  • #27259 của @ianthetechie — đang mở

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
35/100
Loại issue
Lỗi
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Đình trệ
Công nghệ
rust, sql
Lĩnh vực
backend, databases

Hướng nghiên cứu

Start with the parquet reproducer in the issue and compare behavior with both pushdown settings enabled and disabled; the regression is reported between DataFusion 53.1.0 and 54.0.0. Trace nested field pruning and predicate pushdown to find why names.common is unavailable while evaluating the filter, then add a regression test for the original query. The issue links open pull request #27259, so check its status and discussion before taking this on.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

bug
Describe the bug

Valid queries against a parquet table with certain structural characteristics now fail with an execution error: Field common not found in struct.

As noted in the issue title, my guess is that this is due to overaggressive pruning of nested fields during pushdown, but that needs some further verification.

I have worked up a minimal reproducer (below) which you can replicate with the datafusion-cli.

To Reproduce
-- Set up: an external parquet table with a few rows.
-- Apologies for the somewhat oblique construction, but certain DataFusion versions
-- rejected a simpler version with map(['en'], [english]).
COPY (
    SELECT named_struct(
        'primary', local_name,
        'common', map([language], [english])
    ) AS names
    FROM (VALUES ('Local', 'en', 'English'), (NULL, 'en', 'Fallback'), ('', 'en', ''))
        AS input(local_name, language, english)
) TO '/tmp/datafusion-reproducer.parquet' STORED AS PARQUET;

CREATE EXTERNAL TABLE nested_names
STORED AS PARQUET
LOCATION '/tmp/datafusion-reproducer.parquet';

-- These are defaults for a while AFAIK but including for reproducibility.
SET datafusion.execution.parquet.pushdown_filters = true;
SET datafusion.optimizer.enable_leaf_expression_pushdown = true;

-- Expected:
-- +-----------------------------+
-- | nested_names.names[primary] |
-- +-----------------------------+
-- | Local                       |
-- | NULL                        |
-- +-----------------------------+
--
-- Actual:
-- Parquet error: External: External error: Error evaluating filter predicate
-- caused by
-- Execution error: Field common not found in struct
SELECT names.primary
FROM nested_names
WHERE coalesce(names.primary, names.common['en']) <> '';

SET datafusion.execution.parquet.pushdown_filters = false;
SET datafusion.optimizer.enable_leaf_expression_pushdown = false;

-- With BOTH of these settings disabled, it succeeds and returns Local and NULL.
-- It still fails if either one is true.
SELECT names.primary
FROM nested_names
WHERE coalesce(names.primary, names.common['en']) <> '';

-- Hacky SQL workaround: succeeds even with pushdown enabled.
SET datafusion.execution.parquet.pushdown_filters = true;
SET datafusion.optimizer.enable_leaf_expression_pushdown = true;

SELECT names.primary
FROM nested_names
WHERE coalesce(names.primary, map_extract(names.common, 'en')[1]) <> '';
Expected behavior

The original query should succeed as written with syntax like names.common['en'], without needing to disable predicate pushdown or SQL-level hacks.

Additional context

I haven't had a chance to do a full git bisect, but installing a few releases, I've narrowed it quite a bit. Release-wise, the bug first appeared in 54.0.0; 53.1.0 was fine, and it is still broken on main at the time of this writing.

Willingness to contribute

I would like to contribute a fix for this bug, but request guidance from the DataFusion community

Ngôn ngữ chính
Rust
Star
9.6k
Fork
2.6k
Merge trung bình
3 ngày 4 giờ
Pull request đã merge (30 ngày)
345

Chuẩn bị môi trường

Mở trong Codespaces

Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của apache/datafusion

Tất cả issue của apache/datafusion

Issue tương tự

Thêm issue về Rust

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.