cube-js/cube

Dremio: Add support for Arrow Flight JDBC driver

Open

#8 829 ouverte le 17 oct. 2024

Voir sur GitHub
 (2 commentaires) (0 réactions) (0 assignés)Rust (1 965 forks)batch import
driver:dremiohelp wanted

Métriques du dépôt

Stars
 (19 563 stars)
Métriques de merge PR
 (Merge moyen 5j 16h) (138 PRs mergées en 30 j)

Description

Is your feature request related to a problem? Please describe.

We currently use Dremio as our backend and while the RESTful driver provided by the community works, the Arrow Flight JDBC driver should be significantly more performant especially with larger volumes of data

Describe the solution you'd like

Extend the jdbc cube driver to use org.apache.arrow.driver.jdbc.ArrowFlightJdbcDriver

Describe alternatives you've considered

A possible alternative is creating another bespoke Dremio driver that calls Dremio using the Flight RPC protocol directly, rather than using the JDBC wrapper. I think this is possible in node - there's a wrapper that calls to an implementation in Rust, iirc

Guide contributeur

Direction de recherche
Commencez par examiner l'implémentation existante du pilote JDBC de Cube dans la base de code, probablement dans packages/cubejs backend jdbc. Ensuite, recherchez l'API du pilote JDBC Arrow Flight et comment le configurer dans l'abstraction de pilote de Cube. Le problème suggère d'étendre le pilote JDBC existant pour utiliser ArrowFlightJdbcDriver, vous devrez donc comprendre comment les pilotes de Cube gèrent les chaînes de connexion et le chargement de classes. Vérifiez tous les commentaires dans le problème pour obtenir des conseils supplémentaires.
Stack technique
javascripttypescriptnodejsjavarust
Domaine
backenddatabaseapi
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
GitJavaCube.js
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
35