apache/pinot

Add sanity check to the output of Realtime Provisioning Tool

Open

#8.339 aberto em 11 de mar. de 2022

Ver no GitHub
 (8 comments) (0 reactions) (0 assignees)Java (1.234 forks)batch import
good first issue

Métricas do repositório

Stars
 (4.937 stars)
Métricas de merge de PR
 (Mesclagem média 6d 7h) (186 fundiu PRs em 30d)

Description

Currently RTP tool generates a mutable segments based on the given schema characteristics (or a given sample segment) and then linearly extrapolates the required memory, segment size, etc for different combinations of the input parameters. We've recently seen people have used 5GB segments because of the tool's suggestion. It's fine if the tool outputs 5GB because of the chosen input parameters, but it should give some warnings about potential problematic values. Here are some suggestions:

  • Change the output data structure to include an array of warnings
  • If a suggested segment size is > 500MB, add a warning message that the desired segment size should be < 500MB.
  • If number of segments is greater than a threshold (maybe 5K?), then the tools add a warning for that.
  • Sometimes tools outputs NA if the memory goes above the provided availableHostMemory parameter. Instead of NA, we should output the actual value, but add a warning that memory for some combinations goes above available host memory

Guia do colaborador

Direção de pesquisa
Estude o código de geração de saída da Ferramenta de Provisionamento em Tempo Real para entender como a memória, o tamanho do segmento e o número de segmentos são calculados. Identifique onde avisos podem ser injetados para tamanho de segmento > 500MB, número de segmentos > 5000 e memória excedendo a memória do host disponível.
Pilha de tecnologia
java
Domain
backenddatabaseinfrastructure
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
JavaApache Pinot
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
60