StarRocks/starrocks

Support Query ClickHouse AggregatingMergeTree Engine Table.

Open

#53.950 aberto em 15 de dez. de 2024

Ver no GitHub
 (5 comments) (0 reactions) (2 assignees)Java (1.246 forks)batch import
good first issuetype/enhancement

Métricas do repositório

Stars
 (5.717 stars)
Métricas de merge de PR
 (Mesclagem média 1d 8h) (999 fundiu PRs em 30d)

Description

Enhancement

StarRocks as Query Engine

Our team is trying to use StarRocks as a unified query engine layer. We are encountering issues when querying materialized views in ClickHouse.

e.g.

ClickHouse

CREATE DATABASE db0;
CREATE TABLE db0.simple (id UInt64, val SimpleAggregateFunction(sum, UInt64)) ENGINE=AggregatingMergeTree() ORDER BY id;
INSERT INTO db0.simple(id, val) VALUES (1, 10),(1, 11),(2, 12);

Expected Result

ClickHouse :) select id, sum(val) from db0.simple GROUP BY id;

SELECT
    id,
    sum(val)
FROM db0.simple
GROUP BY id

Query id: da27ce92-1f98-4790-9a3d-00f5e9d72b03

   ┌─id─┬─sum(val)─┐
1. │  2 │       12 │
2. │  1 │       21 │
   └────┴──────────┘

2 rows in set. Elapsed: 0.004 sec.

StarRocks

CREATE EXTERNAL CATALOG clickhouse
COMMENT 'example'
PROPERTIES
(
    "type"="jdbc", 
    "user"="default",
    "password"="",
    "jdbc_uri"="jdbc:clickhouse:[your ClickHouse address]:8123",
    "driver_url"="file:///[url]/clickhouse-jdbc-0.7.1-all.jar",
    "driver_class"="com.clickhouse.jdbc.ClickHouseDriver"
);

Query ClickHouse table from StarRocks

SELECT id, sum(val) FROM clickhouse.db0.simple GROUP BY id;

Got Error:

ERROR 1064 (HY000): Getting analyzing error. Detail message: Datatype of external table column [val] is not supported!.

Features Required

  1. Support AggregateFuntion types
  2. Support Aggregation pushdown

Guia do colaborador

Direção de pesquisa
A issue requer a adição de suporte para os tipos AggregateFunction do ClickHouse no catálogo JDBC do StarRocks. Comece examinando o sistema de tipos do driver JDBC do ClickHouse e como o StarRocks interpreta os esquemas de tabelas externas. Analise o código no módulo 'connector/jdbc' para entender o mapeamento de tipos existente. Em seguida, implemente o mapeamento para os tipos AggregateFunction e, opcionalmente, o pushdown de agregações.
Pilha de tecnologia
javasql
Domain
databasebackend
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
4
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Mais de 1 semana
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Bloqueado
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Java programmingStarRocks source codeClickHouse JDBCType mapping
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
10