feat(avro): support LARGE_STRING, LARGE_BINARY, and LARGE_LIST in Avro datum writer

オープン 初心者向け
  • 何か問題がありますか？
#1,103 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る

メンテナーはふだん 2 日以内に返信

まだ誰も着手していません。

評価

難易度
2/5
見積もり時間
1〜3時間
初心者へのやさしさ
77/100
issue の種類
機能追加
明瞭さ
明確に書かれている
活発さ
活発
技術スタック
cpp
領域
data

調査の方向性

src/iceberg/avro/avro_data_util.cc の751、759、838行目にある3つのTODOと、それらが参照する既存のSTRING、BINARY、LISTのケースを読みます。それらの実装に倣って、大きなArrow配列型に対応する処理を追加します。LARGE_STRING、LARGE_BINARY、LARGE_LIST配列が未処理のケースに当たらずに書き込まれることが完了条件です。issueでは実行するテストは指定されていません。

索引モデルが issue の本文から書いたものです。

説明

The Avro datum writer in src/iceberg/avro/avro_data_util.cc currently handles arrow::Type::STRING, arrow::Type::BINARY, and arrow::Type::LIST but not their large variants. If an Arrow array with one of these large types is passed to the writer, it hits an unhandled case and fails.

The affected lines are:

  • avro_data_util.cc:751 — TODO(gangwu): support LARGE_STRING
  • avro_data_util.cc:759 — TODO(gangwu): support LARGE_BINARY
  • avro_data_util.cc:838 — TODO(gangwu): support LARGE_LIST

The fix is to add case ::arrow::Type::LARGE_STRING, case ::arrow::Type::LARGE_BINARY, and case ::arrow::Type::LARGE_LIST handling, mirroring the existing non-large implementations but casting to arrow::LargeStringArray, arrow::LargeBinaryArray, and arrow::LargeListArray respectively.

I'd like to work on this.
主要言語
C++
スター
227
フォーク
142
平均マージ
3日 21分
マージ済み PR（30日）
70

環境構築

このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

apache/iceberg-cpp のほかの issue

apache/iceberg-cpp の issue をすべて見る

似ている issue

C++ の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。