cube-js/cube

Apache Arrow Flight as datasource and API

Open

#4,566 建立於 2022年5月20日

在 GitHub 查看
 (4 留言) (4 反應) (0 負責人)Rust (1,965 fork)batch import
help wantedloggedreviewed

倉庫指標

Star
 (19,563 star)
PR 合併指標
 (平均合併 5天 16小時) (30 天內合併 138 個 PR)

描述

Arrow Flight protocol would be nice both as a datasource and as an API for downstream clients.

Some useful links: https://github.com/apache/arrow-rs/issues/1413 https://arrow.apache.org/blog/2019/10/13/introducing-arrow-flight/ https://github.com/apache/arrow-rs/tree/master/arrow-flight

Why? It's faster, likely it'll be a great standard. It might make possible adding eg. Datafusion or simple parquet files as a datasource.

貢獻者指南

研究方向
該問題要求新增 Apache Arrow Flight 作為資料來源和 API。研究應從查閱提供的連結開始：Arrow Flight 介紹部落格、Arrow Rust 實作（arrow rs）以及 arrow flight crate。然後檢查 Cube 現有的資料來源實作（可能在 `cube js/cube` 儲存庫中，特別是在 `rust` 或 `core` 目錄下），以理解新增資料來源的模式。貢獻者應設計一個整合 Arrow Flight 的方案，同時考慮客戶端資料擷取和伺服器端 API 暴露。沒有連結到現有的 PR；問題討論可能提供額外上下文。主要挑戰是將 Arrow Flight 的串流協定映射到 Cube 的查詢模型。
技術棧
rust
領域
backendapidatabase
議題類型
功能
難度面向新貢獻者的預計實作難度，1 表示很小改動，5 表示專家級工作。
3
預計時間有經驗貢獻者完成調查、實作、測試並準備 pull request 的粗略時間範圍。
3-5 天
活動狀態議題目前的可參與程度：新鮮、活躍、陳舊、阻塞或等待維護者輸入。
活躍
清晰度議題是否清楚說明預期改動、驗收標準和下一步。
清晰
前置要求
Rust programmingApache Arrow concepts
新手友善度1-100 的估計分數，表示該議題對首次貢獻者的友善程度。
40