lance-format/lance

[Duckdb] Zero copy Arrow Array/RecordBatch to duckdb Vector/DataChunk conversion

Open

#348 opened on 2022年12月4日

GitHub で見る
 (0 comments) (0 reactions) (0 assignees)Rust (695 forks)github user discovery
arrowduckdbhelp wantedrust

Repository metrics

Stars
 (6,582 stars)
PR merge metrics
 (平均マージ 6d 1h) (30d で 219 merged PRs)

説明

Problem Statement

#347 converts arrow array / RecordBatch reading from the LanceDataset to duckdb corresponding data structures via heavy data copy.

We need to implement zero-copy data transfer between arrow and duckdb to make the extension production ready.

  • Primitive Arrays to duckdb::Vector
  • ::arrow::StructArray
  • ::arrow::ListArray
  • ::arrow::DictionaryArray

コントリビューターガイド

調査方針
Arrow C Data InterfaceとDuckDBのArrow統合を調査します。メモリ所有権を安全に管理し、シリアライゼーションを避けることでゼロコピーを実現します。プリミティブ配列から始めてください。
技術スタック
rust
領域
backenddatabase
Issue 種別
機能
難度新しい貢献者にとっての実装難度です。1 は非常に小さな変更、5 は専門的な作業です。
5
推定時間経験ある貢献者が調査、実装、テスト、pull request 準備にかけるおおよその時間範囲です。
1週間超
活動状況Issue が今どれだけ取り組みやすいかを示します。新しい、活発、古い、ブロック中、またはメンテナー入力待ちなどです。
新着
明確さ期待される変更、受け入れ条件、次の手順がどれだけ明確かを示します。
おおむね明確
前提条件
RustApache ArrowDuckDB internals
初心者向け度初回貢献者にどれだけ取り組みやすいかを 1-100 で推定したスコアです。
30