feat(avro): support LARGE_STRING, LARGE_BINARY, and LARGE_LIST in Avro datum writer

Đang mở Phù hợp với người mới
  • Có gì không ổn?
#1,103 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 2 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
2/5
Thời gian dự kiến
1-3 giờ
Mức phù hợp với người mới
77/100
Loại issue
Tính năng
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
cpp
Lĩnh vực
data

Hướng nghiên cứu

Đọc ba TODO trong src/iceberg/avro/avro_data_util.cc tại các dòng 751, 759 và 838, cùng với các trường hợp STRING, BINARY và LIST hiện có mà chúng tham chiếu đến. Thêm xử lý tương ứng cho các kiểu mảng lớn của Arrow, theo các phần triển khai đó. Các mảng LARGE_STRING, LARGE_BINARY và LARGE_LIST được ghi mà không gặp trường hợp chưa được xử lý; issue không nêu các bài kiểm thử cần chạy.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

The Avro datum writer in src/iceberg/avro/avro_data_util.cc currently handles arrow::Type::STRING, arrow::Type::BINARY, and arrow::Type::LIST but not their large variants. If an Arrow array with one of these large types is passed to the writer, it hits an unhandled case and fails.

The affected lines are:

  • avro_data_util.cc:751 — TODO(gangwu): support LARGE_STRING
  • avro_data_util.cc:759 — TODO(gangwu): support LARGE_BINARY
  • avro_data_util.cc:838 — TODO(gangwu): support LARGE_LIST

The fix is to add case ::arrow::Type::LARGE_STRING, case ::arrow::Type::LARGE_BINARY, and case ::arrow::Type::LARGE_LIST handling, mirroring the existing non-large implementations but casting to arrow::LargeStringArray, arrow::LargeBinaryArray, and arrow::LargeListArray respectively.

I'd like to work on this.
Ngôn ngữ chính
C++
Star
227
Fork
142
Merge trung bình
3 ngày 21 phút
Pull request đã merge (30 ngày)
70

Chuẩn bị môi trường

Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của apache/iceberg-cpp

Tất cả issue của apache/iceberg-cpp

Issue tương tự

Thêm issue về C++

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.