cube-js/cube

Apache Arrow Flight as datasource and API

Open

#4566 aperta il 20 mag 2022

Vedi su GitHub
 (4 commenti) (4 reazioni) (0 assegnatari)Rust (1965 fork)batch import
help wantedloggedreviewed

Metriche repository

Star
 (19.563 star)
Metriche merge PR
 (Merge medio 5g 16h) (138 PR mergiate in 30 g)

Descrizione

Arrow Flight protocol would be nice both as a datasource and as an API for downstream clients.

Some useful links: https://github.com/apache/arrow-rs/issues/1413 https://arrow.apache.org/blog/2019/10/13/introducing-arrow-flight/ https://github.com/apache/arrow-rs/tree/master/arrow-flight

Why? It's faster, likely it'll be a great standard. It might make possible adding eg. Datafusion or simple parquet files as a datasource.

Guida contributor

Direzione di ricerca
La richiesta prevede l'aggiunta di Apache Arrow Flight come origine dati e API. La ricerca dovrebbe iniziare esaminando i link forniti: il blog introduttivo di Arrow Flight, l'implementazione Arrow in Rust (arrow rs) e la crate arrow flight. Quindi, esaminare le implementazioni esistenti delle origini dati in Cube (probabilmente nel repository `cube js/cube`, in particolare nelle directory `rust` o `core`) per comprendere il modello di aggiunta di una nuova origine dati. Il contributore dovrebbe progettare un piano per integrare Arrow Flight, considerando sia il recupero dei dati lato client che l'esposizione dell'API lato server. Nessuna PR esistente è collegata; la discussione nell'issue potrebbe fornire ulteriore contesto. La sfida principale è mappare il protocollo di streaming di Arrow Flight al modello di query di Cube.
Tech stack
rust
Dominio
backendapidatabase
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
3-5 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Rust programmingApache Arrow concepts
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40