cube-js/cube

Apache Arrow Flight as datasource and API

Open

#4 566 ouverte le 20 mai 2022

Voir sur GitHub
 (4 commentaires) (4 réactions) (0 assignés)Rust (1 965 forks)batch import
help wantedloggedreviewed

Métriques du dépôt

Stars
 (19 563 stars)
Métriques de merge PR
 (Merge moyen 5j 16h) (138 PRs mergées en 30 j)

Description

Arrow Flight protocol would be nice both as a datasource and as an API for downstream clients.

Some useful links: https://github.com/apache/arrow-rs/issues/1413 https://arrow.apache.org/blog/2019/10/13/introducing-arrow-flight/ https://github.com/apache/arrow-rs/tree/master/arrow-flight

Why? It's faster, likely it'll be a great standard. It might make possible adding eg. Datafusion or simple parquet files as a datasource.

Guide contributeur

Direction de recherche
Cette demande propose d'ajouter Apache Arrow Flight comme source de données et API. La recherche doit commencer par examiner les liens fournis : le blog d'introduction d'Arrow Flight, l'implémentation Arrow en Rust (arrow rs) et la crate arrow flight. Ensuite, examinez les implémentations existantes de sources de données dans Cube (probablement dans le dépôt `cube js/cube`, en particulier dans les répertoires `rust` ou `core`) pour comprendre le modèle d'ajout d'une nouvelle source de données. Le contributeur doit concevoir un plan pour intégrer Arrow Flight, en tenant compte à la fois de la récupération des données côté client et de l'exposition de l'API côté serveur. Aucune PR existante n'est liée ; la discussion dans l'issue peut fournir un contexte supplémentaire. Le principal défi est de mapper le protocole de streaming d'Arrow Flight au modèle de requête de Cube.
Stack technique
rust
Domaine
backendapidatabase
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
3-5 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
Rust programmingApache Arrow concepts
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
40