Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Make write.parquet.page-size-bytes and write.parquet.dict-size-bytes taking effect

Đang mở
  • Có gì không ổn?
#943 1 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
3/5
Thời gian dự kiến
1-2 ngày
Mức phù hợp với người mới
72/100
Loại issue
Lỗi
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
cpp
Lĩnh vực
data-engineering

Hướng nghiên cứu

Start at src/iceberg/parquet/parquet_writer.cc, especially ParquetWriter::Impl::Open, and read the declarations and defaults in src/iceberg/table_properties.h. Trace WriterProperties::FromMap and the Arrow writer-property construction, then locate existing writer-property tests. Done means defaults and overrides reach the underlying writer, invalid or non-positive values are rejected before file creation, and custom settings have write/read coverage.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

The C++ Parquet writer does not apply write.parquet.page-size-bytes or write.parquet.dict-size-bytes. Both properties are already declared in TableProperties, but passing them through WriterProperties::FromMap has no effect on the underlying Parquet writer configuration.

On the current main, the ParquetWriter::Impl::Open has already configured the compression, compression level, and the row-count limit, however it builds Arrow's writer properties without setting the page or dictionary size. This prevents callers from using the standard Iceberg properties to tune these sizes.

For instance, providing the following properties should configure a 64 KiB data-page target and a 256 KiB dictionary-page limit on output parquet writer:

write.parquet.page-size-bytes=65536
write.parquet.dict-size-bytes=262144

Proposed change:

  • Expose these two settings through WriterProperties and apply them when constructing Arrow's Parquet writer properties.
  • Use the Iceberg defaults already declared in table_properties.h: 1 MiB for data pages and 2 MiB for dictionary pages.
  • Reject invalid or non-positive values before creating the output file.
  • Add tests for defaults, overrides, invalid values, and propagation into the underlying writer, plus write/read coverage with custom settings.

Background:

Note:
Byte-based row-group sizing (write.parquet.row-group-size-bytes) can be handled in a separate follow-up because it requires examining the buffering and flush policy.

Ngôn ngữ chính
C++
Star
223
Fork
127
Merge trung bình
1 ngày 13 giờ
Pull request đã merge (30 ngày)
28

Chuẩn bị môi trường

Chúng tôi chưa kiểm tra các tệp thiết lập môi trường của dự án này. Hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của apache/iceberg-cpp

Tất cả issue của apache/iceberg-cpp

Issue tương tự

Thêm issue về C++

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.