apache/pinot

What's the root cause to wiki's recommendation: "Pause consumption when add a new column"?

Open

#12.652 aberto em 14 de mar. de 2024

Ver no GitHub
 (4 comments) (0 reactions) (0 assignees)Java (1.234 forks)batch import
documentationgood first issuetroubleshooting

Métricas do repositório

Stars
 (4.937 stars)
Métricas de merge de PR
 (Mesclagem média 6d 7h) (186 fundiu PRs em 30d)

Description

In the ingestion transformation wiki page, it mentioned that

If a new column is added to table or schema configuration during ingestion, incorrect data may appear in the consuming segment.

To ensure accurate values are reloaded, do the following: Pause consumption (and wait for pause status success)

Is it only limited to table which has ingestion transform config? If not, it seems a breaking change since we need to pause consumption for every schema update.

Another question: In which scenario the data will incorrectly appears?

Guia do colaborador

Direção de pesquisa
Comece examinando o código de transformação de ingestão no Apache Pinot, particularmente o tratamento de alterações de esquema durante o consumo de segmentos. Analise a classe IngestionTransformations e a lógica do consumidor relacionada para entender a causa raiz da recomendação de pausar o consumo. Verifique se há condições de corrida ou suposições sobre a estabilidade do esquema que possam levar a dados incorretos.
Pilha de tecnologia
java
Domain
backenddatabasedata
Tipo Issue
Pesquisa
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
JavaApache Pinot
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
60