apache/pinot

Reduce the amount of trace info

Open

#9.523 geöffnet am 3. Okt. 2022

Auf GitHub ansehen
 (2 Kommentare) (0 Reaktionen) (1 zugewiesene Person)Java (1.234 Forks)batch import
good first issuehelp wanted

Repository-Metriken

Stars
 (4.937 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 6T 7h) (186 gemergte PRs in 30 T)

Beschreibung

Currently the default tracer will print an entry per block (up to 10K docs). For a query hitting 1B docs, it will log 100K entries, which is not useful for debugging. It can even hang the controller UI when sending a query with trace on.

We should reduce the tracing info by merging the same entry type into one entry for each segment and just print the total time per entry type.

Other things to consider:

  • Should we merge the same entry type across segments? Each query can still hit thousands of segment per server
  • We can consider keeping a global cross segments aggregated trace info, then keep 10 segment level aggregated trace if the query hits too many segments

Contributor Guide

Research-Richtung
Das Problem schlägt vor, Trace Informationen durch das Zusammenführen gleicher Eintragstypen pro Segment zu reduzieren. Untersuchen Sie die aktuelle Tracer Implementierung in der Pinot Codebasis (wahrscheinlich in den Modulen pinot common oder pinot controller). Suchen Sie nach vorhandener Aggregationslogik und berücksichtigen Sie die genannten Abwägungen: Zusammenführen über Segmente hinweg gegenüber dem Behalten globaler Aggregate. Prüfen Sie, ob es einen Zugewiesenen oder laufende Arbeiten in verwandten PRs oder Kommentaren gibt, um Duplizierung zu vermeiden.
Tech Stack
java
Domain
backenddatabaseperformanceobservability
Issue Type
Refactoring
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
Java
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
65