Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Scan planning needs iceberg_bundle (and Arrow C++) only for the Avro reader

Đang mở
  • Có gì không ổn?
#1,027 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 2 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
12/100
Loại issue
Tái cấu trúc
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
cpp
Lĩnh vực
build-system, data

Hướng nghiên cứu

This is a design proposal, so start by settling with maintainers whether the split is wanted. Read the Arrow C++ uses under src/iceberg/avro/ (the reader builders, the writer's array and decimal handling, and avro_schema_util.cc's arrow::DecimalType::DecimalSize call) and the helpers in the bundle's iceberg/arrow/ directory. Compare them with how ManifestReader and ManifestEntryAdapter already use nanoarrow. Done would mean an agreed plan for an Arrow-free iceberg_avro target, not a patch.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

We are building an Iceberg connector for Axiom, which runs on Velox. We plan to use iceberg-cpp for the REST catalog and for scan planning, and Velox reads the data files.

To plan a scan, ManifestReader reads the manifest list and the manifests, which are Avro files. It gets the reader from ReaderFactoryRegistry for FileFormatType::kAvro, and the only Avro reader is the one iceberg::avro::RegisterAll() registers from iceberg_bundle. The bundle also links Arrow C++ and Parquet. The other libraries we use, iceberg, iceberg_rest and iceberg_data, have no Arrow C++ in them, they contain no arrow:: symbols. Without the bundle, though, every scan fails with Missing reader factory for file format: avro. So we have to link Arrow C++ just to read manifests.

For us that means two Arrow versions in one process. Velox pins Arrow 18.0.0 and iceberg-cpp builds Arrow 25.0.0. They define the same symbols with different class layouts, and code compiled against one version ends up calling the other. We hit this with arrow::DictionaryArray, which is 72 bytes in Arrow 18 and 80 bytes in Arrow 25 (Arrow 25 added a std::once_flag member). Velox's Parquet writer is compiled against Arrow 18 and allocates 72 bytes for one, but the constructor that runs is Arrow 25's, and it writes the new member 8 bytes past the end of the object. The process then crashes later, in some unrelated malloc.

Right now we work around this by building iceberg-cpp and its Arrow into a separate shared library, with per-platform linker flags that hide every Arrow symbol and a build-time check that none leak out. It works, but it's fragile, and the Avro reader is the only reason we need it.

The Avro code doesn’t need Arrow C++ at its interface, and the public Avro headers don’t include it. The reader returns ArrowArray and ArrowSchema C structs, the writer takes an ArrowArray, and both open files through FileIO. The core already builds and parses Arrow data with nanoarrow, for example in ManifestEntryAdapter and ManifestReader.

Inside src/iceberg/avro/, Arrow C++ is only an implementation detail, and each use of it can be replaced with something Arrow-free. The reader builds its output with Arrow C++ builders and the writer reads its input as Arrow C++ arrays, decimals and default values included; nanoarrow, which the core already uses, can do both. Files are read and written through Arrow IO streams, which FileIO’s own streams can replace. A couple of small helpers come from the bundle’s iceberg/arrow/ directory and could move to the core. The field-id projection (Project and MakeAvroNodeWithFieldIds) doesn’t use Arrow C++ at all, and the only Arrow call in avro_schema_util.cc is arrow::DecimalType::DecimalSize, a byte-width calculation that is easy to do without Arrow.

Would you be open to rewriting the Avro reader and writer on nanoarrow and moving them into their own library, say iceberg_avro, that depends only on the core and avro-cpp? iceberg_bundle would link it, so nothing changes for people who use the bundle. Engines like us could then link iceberg, iceberg_rest, iceberg_data and iceberg_avro, with only one Arrow in the process.

Thank you.

Ngôn ngữ chính
C++
Star
228
Fork
136
Merge trung bình
5 ngày 19 giờ
Pull request đã merge (30 ngày)
53

Chuẩn bị môi trường

Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của apache/iceberg-cpp

Tất cả issue của apache/iceberg-cpp

Issue tương tự

Thêm issue về C++

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.