apache/pinot

Reduce the amount of trace info

Open

#9 523 ouverte le 3 oct. 2022

Voir sur GitHub
 (2 commentaires) (0 réactions) (1 assigné)Java (1 234 forks)batch import
good first issuehelp wanted

Métriques du dépôt

Stars
 (4 937 stars)
Métriques de merge PR
 (Merge moyen 6j 7h) (186 PRs mergées en 30 j)

Description

Currently the default tracer will print an entry per block (up to 10K docs). For a query hitting 1B docs, it will log 100K entries, which is not useful for debugging. It can even hang the controller UI when sending a query with trace on.

We should reduce the tracing info by merging the same entry type into one entry for each segment and just print the total time per entry type.

Other things to consider:

  • Should we merge the same entry type across segments? Each query can still hit thousands of segment per server
  • We can consider keeping a global cross segments aggregated trace info, then keep 10 segment level aggregated trace if the query hits too many segments

Guide contributeur

Direction de recherche
Le problème propose de réduire les informations de trace en fusionnant les mêmes types d'entrée par segment. Étudiez l'implémentation actuelle du traceur dans la base de code de Pinot (probablement dans les modules pinot common ou pinot controller). Recherchez la logique d'agrégation existante et considérez les compromis mentionnés : fusionner entre les segments par rapport au maintien d'agrégats globaux. Vérifiez s'il y a un assigné ou des travaux en cours dans des PR ou commentaires connexes pour éviter la duplication.
Stack technique
java
Domaine
backenddatabaseperformanceobservability
Type d'issue
Refactorisation
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
Java
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
65