cube-js/cube

Apache Arrow Flight as datasource and API

Open

#4.566 geöffnet am 20. Mai 2022

Auf GitHub ansehen
 (4 Kommentare) (4 Reaktionen) (0 zugewiesene Personen)Rust (1.965 Forks)batch import
help wantedloggedreviewed

Repository-Metriken

Stars
 (19.563 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 5T 16h) (138 gemergte PRs in 30 T)

Beschreibung

Arrow Flight protocol would be nice both as a datasource and as an API for downstream clients.

Some useful links: https://github.com/apache/arrow-rs/issues/1413 https://arrow.apache.org/blog/2019/10/13/introducing-arrow-flight/ https://github.com/apache/arrow-rs/tree/master/arrow-flight

Why? It's faster, likely it'll be a great standard. It might make possible adding eg. Datafusion or simple parquet files as a datasource.

Contributor Guide

Research-Richtung
Das Issue fordert die Hinzufügung von Apache Arrow Flight als Datenquelle und API. Die Recherche sollte mit der Überprüfung der bereitgestellten Links beginnen: der Arrow Flight Einführungsblog, die Arrow Rust Implementierung (arrow rs) und die arrow flight crate. Anschließend sollten die vorhandenen Datenquellen Implementierungen in Cube (wahrscheinlich im Repository `cube js/cube`, insbesondere im Verzeichnis `rust` oder `core`) untersucht werden, um das Muster für das Hinzufügen einer neuen Datenquelle zu verstehen. Der Beitragende sollte einen Plan zur Integration von Arrow Flight entwerfen, der sowohl den clientseitigen Datenabruf als auch die serverseitige API Exposition berücksichtigt. Es ist kein bestehender PR verlinkt; die Diskussion im Issue könnte zusätzlichen Kontext liefern. Die Hauptherausforderung besteht darin, das Streaming Protokoll von Arrow Flight auf das Abfragemodell von Cube abzubilden.
Tech Stack
rust
Domain
backendapidatabase
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
3-5 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
Rust programmingApache Arrow concepts
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
40