cube-js/cube

Apache Arrow Flight as datasource and API

Open

#4,566 创建于 2022年5月20日

在 GitHub 查看
 (4 评论) (4 反应) (0 负责人)Rust (1,965 fork)batch import
help wantedloggedreviewed

仓库指标

Star
 (19,563 star)
PR 合并指标
 (平均合并 5天 16小时) (30 天内合并 138 个 PR)

描述

Arrow Flight protocol would be nice both as a datasource and as an API for downstream clients.

Some useful links: https://github.com/apache/arrow-rs/issues/1413 https://arrow.apache.org/blog/2019/10/13/introducing-arrow-flight/ https://github.com/apache/arrow-rs/tree/master/arrow-flight

Why? It's faster, likely it'll be a great standard. It might make possible adding eg. Datafusion or simple parquet files as a datasource.

贡献者指南

研究方向
该问题要求添加 Apache Arrow Flight 作为数据源和 API。研究应从查阅提供的链接开始：Arrow Flight 介绍博客、Arrow Rust 实现（arrow rs）以及 arrow flight crate。然后检查 Cube 现有的数据源实现（可能在 `cube js/cube` 仓库中，特别是在 `rust` 或 `core` 目录下），以理解添加新数据源的模式。贡献者应设计一个集成 Arrow Flight 的方案，同时考虑客户端数据检索和服务器端 API 暴露。没有链接到现有的 PR；问题讨论可能提供额外上下文。主要挑战是将 Arrow Flight 的流式协议映射到 Cube 的查询模型。
技术栈
rust
领域
backendapidatabase
议题类型
功能
难度面向新贡献者的预计实现难度，1 表示很小改动，5 表示专家级工作。
3
预计时间有经验贡献者完成调查、实现、测试并准备 pull request 的粗略时间范围。
3-5 天
活动状态议题当前的可参与程度：新鲜、活跃、陈旧、阻塞或等待维护者输入。
活跃
清晰度议题是否清楚说明期望改动、验收标准和下一步。
清晰
前置要求
Rust programmingApache Arrow concepts
新手友好度1-100 的估计分数，表示该议题对首次贡献者的友好程度。
40