lance-format/lance

[Duckdb] Zero copy Arrow Array/RecordBatch to duckdb Vector/DataChunk conversion

Open

#348 建立於 2022年12月4日

在 GitHub 查看
 (0 留言) (0 反應) (0 負責人)Rust (695 fork)github user discovery
arrowduckdbhelp wantedrust

倉庫指標

Star
 (6,582 star)
PR 合併指標
 (平均合併 6天 1小時) (30 天內合併 219 個 PR)

描述

Problem Statement

#347 converts arrow array / RecordBatch reading from the LanceDataset to duckdb corresponding data structures via heavy data copy.

We need to implement zero-copy data transfer between arrow and duckdb to make the extension production ready.

  • Primitive Arrays to duckdb::Vector
  • ::arrow::StructArray
  • ::arrow::ListArray
  • ::arrow::DictionaryArray

貢獻者指南

研究方向
研究 Arrow C 資料介面與 DuckDB 的 Arrow 整合。透過安全管理記憶體所有權和避免序列化來實現零拷貝。從原始陣列開始。
技術棧
rust
領域
backenddatabase
議題類型
功能
難度面向新貢獻者的預計實作難度，1 表示很小改動，5 表示專家級工作。
5
預計時間有經驗貢獻者完成調查、實作、測試並準備 pull request 的粗略時間範圍。
超過 1 週
活動狀態議題目前的可參與程度：新鮮、活躍、陳舊、阻塞或等待維護者輸入。
新近可參與
清晰度議題是否清楚說明預期改動、驗收標準和下一步。
大致清晰
前置要求
RustApache ArrowDuckDB internals
新手友善度1-100 的估計分數，表示該議題對首次貢獻者的友善程度。
30