apache/pinot

Enhance the default column handling

Open

#8.699 aberto em 13 de mai. de 2022

Ver no GitHub
 (0 comments) (0 reactions) (0 assignees)Java (1.234 forks)batch import
help wanted

Métricas do repositório

Stars
 (4.937 stars)
Métricas de merge de PR
 (Mesclagem média 6d 7h) (186 fundiu PRs em 30d)

Description

When new columns are added to a pinot table, the server is able to automatically generate default columns for the new added columns. There are 2 types of default column that can be auto-generated:

  1. New added column without transform function: default column will be filled with default null value (always dictionary encoded)
  2. New added column with transform function (derived column): default column will be filled with values calculated based on the transform function

There are 2 things not handled right now:

  1. Generate default column raw forward index (not dictionary encoded)
  2. Support transform function on another new added column: we need to calculate the dependency between new added columns, and generate them in sequence

See BaseDefaultColumnHandler for details

Guia do colaborador

Direção de pesquisa
Estude a classe BaseDefaultColumnHandler para entender a lógica atual de geração de colunas padrão. Foco em duas funcionalidades ausentes: (1) geração de índices forward brutos (não dicionário) para novas colunas, e (2) tratamento de dependências quando uma função de transformação referencia outra coluna recém adicionada. Rastreie como as colunas são adicionadas e como os valores padrão são calculados. Procure testes existentes e execute os para reproduzir o problema.
Pilha de tecnologia
java
Domain
databasedistributed systems
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Recente
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
JavaApache Pinot basics
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
30