[CORE] LocalFilesNode rebuilds the file schema for every file in a split

Đang mở
#13,698 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 3 ngày

@LuciferYang đang làm issue này rồi.

Từ ngày 20/11/2026.

  • #13699 của @LuciferYang — đang mở

Đánh giá

Độ khó
3/5
Thời gian dự kiến
Nửa ngày
Mức phù hợp với người mới
55/100
Loại issue
Tái cấu trúc
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
scala
Lĩnh vực
performance

Hướng nghiên cứu

Start from LocalFilesNode.toProtobuf and trace where the split-level schema is available before the per-file loop. Check the Velox ORC/DWRF scan path and the Parquet path controlled by spark.gluten.sql.columnar.backend.velox.parquetUseColumnNames, since the issue says they always set this schema. Done means the NamedStruct is built once per split, scans still receive the correct schema, and a wide ORC split no longer repeats the conversion per file.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

LocalFilesNode.toProtobuf builds the file schema as a Substrait NamedStruct once for every file in the split, although all files in a split share the same schema. The Velox backend always sets this schema for ORC and DWRF scans, and for Parquet when spark.gluten.sql.columnar.backend.velox.parquetUseColumnNames is off, so every task of a small-file scan with a wide schema repeats the type conversion per file. For an ORC split of 128 files and 200 columns, toProtobuf takes about 16.7 ms.

The schema can be built once per split.

This issue was written with the assistance of AI (Claude Opus).

Ngôn ngữ chính
Scala
Star
1.6k
Fork
685
Merge trung bình
4 ngày 16 giờ
Pull request đã merge (30 ngày)
84

Chuẩn bị môi trường

Mở trong Codespaces

Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của apache/gluten

Tất cả issue của apache/gluten

Issue tương tự

Thêm issue về Scala

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.