[CORE] LocalFilesNode rebuilds the file schema for every file in a split
Maintainer thường phản hồi trong vòng 3 ngày
Đánh giá
- Độ khó
- 3/5
- Thời gian dự kiến
- Nửa ngày
- Mức phù hợp với người mới
- 55/100
- Loại issue
- Tái cấu trúc
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Sôi nổi
- Công nghệ
- scala
- Lĩnh vực
- performance
Hướng nghiên cứu
Start from LocalFilesNode.toProtobuf and trace where the split-level schema is available before the per-file loop. Check the Velox ORC/DWRF scan path and the Parquet path controlled by spark.gluten.sql.columnar.backend.velox.parquetUseColumnNames, since the issue says they always set this schema. Done means the NamedStruct is built once per split, scans still receive the correct schema, and a wide ORC split no longer repeats the conversion per file.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
LocalFilesNode.toProtobuf builds the file schema as a Substrait NamedStruct once for every file in the split, although all files in a split share the same schema. The Velox backend always sets this schema for ORC and DWRF scans, and for Parquet when spark.gluten.sql.columnar.backend.velox.parquetUseColumnNames is off, so every task of a small-file scan with a wide schema repeats the type conversion per file. For an ORC split of 128 files and 200 columns, toProtobuf takes about 16.7 ms.
The schema can be built once per split.
This issue was written with the assistance of AI (Claude Opus).
- Ngôn ngữ chính
- Scala
- Star
- 1.6k
- Fork
- 685
- Merge trung bình
- 4 ngày 16 giờ
- Pull request đã merge (30 ngày)
- 84
Chuẩn bị môi trường
Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.
- Không có Dockerfile hay tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của apache/gluten
-
[CORE] Selecting a cost model the backend has no coster for fails with ClassNotFoundExceptionCó thể đã có người làm @LuciferYang đã nhận 1 ngày trước. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 66/100
Maintainer thường phản hồi trong vòng 3 ngày
-
bug unit testing velox backend
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
apache/gluten#13463 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 3 ngày
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 82/100
Maintainer thường phản hồi trong vòng 3 ngày
-
[VL] madvise(WILLNEED) call fails in MmapFileStream because of wrong calculation of fetching lengthCó thể làm lại được Pull request cho issue này đã bị đóng mà không được merge. Đang mởbug triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
Maintainer thường phản hồi trong vòng 3 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 3 ngày
Tất cả issue của apache/gluten
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
rchillyard/TableParser#206 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
Maintainer thường phản hồi trong vòng 2 ngày
-
? - Needs Triage bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 66/100
NVIDIA/cudf-spark#17063 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
bug 🐞 User issue 🚨
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
valkey-io/valkey-glide#7813 · 2 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày