apache/pinot

Add sanity check to the output of Realtime Provisioning Tool

Open

#8339 aperta il 11 mar 2022

Vedi su GitHub
 (8 commenti) (0 reazioni) (0 assegnatari)Java (1234 fork)batch import
good first issue

Metriche repository

Star
 (4937 star)
Metriche merge PR
 (Merge medio 6g 7h) (186 PR mergiate in 30 g)

Descrizione

Currently RTP tool generates a mutable segments based on the given schema characteristics (or a given sample segment) and then linearly extrapolates the required memory, segment size, etc for different combinations of the input parameters. We've recently seen people have used 5GB segments because of the tool's suggestion. It's fine if the tool outputs 5GB because of the chosen input parameters, but it should give some warnings about potential problematic values. Here are some suggestions:

  • Change the output data structure to include an array of warnings
  • If a suggested segment size is > 500MB, add a warning message that the desired segment size should be < 500MB.
  • If number of segments is greater than a threshold (maybe 5K?), then the tools add a warning for that.
  • Sometimes tools outputs NA if the memory goes above the provided availableHostMemory parameter. Instead of NA, we should output the actual value, but add a warning that memory for some combinations goes above available host memory

Guida contributor

Direzione di ricerca
Studia il codice di generazione dell'output dello strumento di provisioning in tempo reale per comprendere come vengono calcolati memoria, dimensione dei segmenti e numero di segmenti. Identifica dove possono essere iniettati avvisi per dimensione del segmento > 500MB, numero di segmenti > 5000 e memoria che supera la memoria host disponibile.
Tech stack
java
Dominio
backenddatabaseinfrastructure
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
JavaApache Pinot
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60