apache/pinot

Support dynamic updates to existing derived columns in table

Open

#8.700 aberto em 14 de mai. de 2022

Ver no GitHub
 (3 comments) (0 reactions) (0 assignees)Java (1.234 forks)batch import
featurehelp wanted

Métricas do repositório

Stars
 (4.937 stars)
Métricas de merge de PR
 (Mesclagem média 6d 7h) (186 fundiu PRs em 30d)

Description

Currently Pinot doesn't support runtime changes to existing derived columns (for e.g change to ingestion transform expression) in table. Only way to make such updates is to either delete/recreate the table and ingest from scratch or add a new derived column with the changes, neither of which are ideal from usability perspective.

Can we consider improving this behavior so users can easily make adjustments to the data via table config/schema change and subsequently doing a segment reload ? cc @Jackie-Jiang @mayankshriv

Guia do colaborador

Direção de pesquisa
Entenda como o Pinot aplica expressões de transformação de ingestão durante a geração de segmentos e explore como o recarregamento de segmentos poderia acionar o recálculo de colunas derivadas sem reingestão completa. Veja a configuração da tabela, esquema e APIs de metadados de segmento.
Pilha de tecnologia
java
Domain
databasedistributed systemsbackend
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
3-5 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
Apache PinotJavaOLAP concepts
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
40