cube-js/cube

Apache Arrow Flight as datasource and API

Open

#4.566 aberto em 20 de mai. de 2022

Ver no GitHub
 (4 comments) (4 reactions) (0 assignees)Rust (1.965 forks)batch import
help wantedloggedreviewed

Métricas do repositório

Stars
 (19.563 stars)
Métricas de merge de PR
 (Mesclagem média 5d 16h) (138 fundiu PRs em 30d)

Description

Arrow Flight protocol would be nice both as a datasource and as an API for downstream clients.

Some useful links: https://github.com/apache/arrow-rs/issues/1413 https://arrow.apache.org/blog/2019/10/13/introducing-arrow-flight/ https://github.com/apache/arrow-rs/tree/master/arrow-flight

Why? It's faster, likely it'll be a great standard. It might make possible adding eg. Datafusion or simple parquet files as a datasource.

Guia do colaborador

Direção de pesquisa
A issue solicita a adição do Apache Arrow Flight como uma fonte de dados e API. A pesquisa deve começar revisando os links fornecidos: o blog de introdução do Arrow Flight, a implementação Arrow em Rust (arrow rs) e a crate arrow flight. Em seguida, examine as implementações existentes de fontes de dados no Cube (provavelmente no repositório `cube js/cube`, especificamente no diretório `rust` ou `core`) para entender o padrão de adição de uma nova fonte de dados. O contribuidor deve projetar um plano para integrar o Arrow Flight, considerando tanto a recuperação de dados do lado do cliente quanto a exposição da API do lado do servidor. Nenhum PR existente está vinculado; a discussão na issue pode fornecer contexto adicional. O principal desafio é mapear o protocolo de streaming do Arrow Flight para o modelo de consulta do Cube.
Pilha de tecnologia
rust
Domain
backendapidatabase
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
3-5 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Rust programmingApache Arrow concepts
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
40