apache/pinot

Reduce the amount of trace info

Open

#9.523 aberto em 3 de out. de 2022

Ver no GitHub
 (2 comments) (0 reactions) (1 assignee)Java (1.234 forks)batch import
good first issuehelp wanted

Métricas do repositório

Stars
 (4.937 stars)
Métricas de merge de PR
 (Mesclagem média 6d 7h) (186 fundiu PRs em 30d)

Description

Currently the default tracer will print an entry per block (up to 10K docs). For a query hitting 1B docs, it will log 100K entries, which is not useful for debugging. It can even hang the controller UI when sending a query with trace on.

We should reduce the tracing info by merging the same entry type into one entry for each segment and just print the total time per entry type.

Other things to consider:

  • Should we merge the same entry type across segments? Each query can still hit thousands of segment per server
  • We can consider keeping a global cross segments aggregated trace info, then keep 10 segment level aggregated trace if the query hits too many segments

Guia do colaborador

Direção de pesquisa
A questão propõe reduzir as informações de rastreamento mesclando os mesmos tipos de entrada por segmento. Investigue a implementação atual do rastreador na base de código do Pinot (provavelmente nos módulos pinot common ou pinot controller). Procure a lógica de agregação existente e considere as compensações mencionadas: mesclar entre segmentos versus manter agregados globais. Verifique se há um responsável ou trabalho em andamento em PRs ou comentários relacionados para evitar duplicação.
Pilha de tecnologia
java
Domain
backenddatabaseperformanceobservability
Tipo Issue
Refatoração
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
Java
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
65