cube-js/cube

Dremio: Add support for Arrow Flight JDBC driver

Open

Aperta il 17 ott 2024

Vedi su GitHub
 (2 commenti) (0 reazioni) (0 assegnatari)Rust (19.563 star) (1965 fork)batch import
driver:dremiohelp wanted

Descrizione

Is your feature request related to a problem? Please describe.

We currently use Dremio as our backend and while the RESTful driver provided by the community works, the Arrow Flight JDBC driver should be significantly more performant especially with larger volumes of data

Describe the solution you'd like

Extend the jdbc cube driver to use org.apache.arrow.driver.jdbc.ArrowFlightJdbcDriver

Describe alternatives you've considered

A possible alternative is creating another bespoke Dremio driver that calls Dremio using the Flight RPC protocol directly, rather than using the JDBC wrapper. I think this is possible in node - there's a wrapper that calls to an implementation in Rust, iirc

Guida contributor

Tech stack
javascripttypescriptnodejsjavarust
Dominio
backenddatabaseapi
Tipo issue
feature
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 days
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
active
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
clear
Prerequisiti
GitJavaCube.js
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
35
Direzione di ricerca
Inizia esaminando l'implementazione esistente del driver JDBC di Cube nella codebase, probabilmente in packages/cubejs backend jdbc. Quindi, ricerca l'API del driver JDBC Arrow Flight e come configurarlo nell'astrazione del driver di Cube. Il problema suggerisce di estendere il driver JDBC esistente per utilizzare ArrowFlightJdbcDriver, quindi dovrai capire come i driver di Cube gestiscono le stringhe di connessione e il caricamento delle classi. Controlla eventuali commenti nel problema per ulteriori indicazioni.