apache/pinot

Unify some behavior in TableDataManager

Open

#9752 aperta il 7 nov 2022

Vedi su GitHub
 (2 commenti) (2 reazioni) (0 assegnatari)Java (1234 fork)batch import
bugcleanupgood first issue

Metriche repository

Star
 (4937 star)
Metriche merge PR
 (Merge medio 6g 7h) (186 PR mergiate in 30 g)

Descrizione

In the TableDataManager:

  • void addSegment(File indexDir, IndexLoadingConfig indexLoadingConfig) is never used in production code (the only non-testing caller addOfflineSegment() is not wired up)
  • void addSegment(String segmentName, TableConfig tableConfig, IndexLoadingConfig indexLoadingConfig) can be simplified because TableConfig is included in the IndexLoadingConfig
  • void addOrReplaceSegment(String segmentName, IndexLoadingConfig indexLoadingConfig, SegmentZKMetadata zkMetadata, @Nullable SegmentMetadata localMetadata) should be broken into 2 methods: addSegment() and refreshSegment()
  • Loading committed segment into real-time table should share the same logic as loading segment into offline table. Currently the logic is diverged, which causes moving tier not happening for real-time table

Ideally we want to keep the following methods:

  • addSegment
  • addConsumingSegment (real-time only)
  • refreshSegment
  • reloadSegment
  • removeSegment

Guida contributor

Direzione di ricerca
Analizza i metodi correnti di TableDataManager: identifica addSegment non utilizzato, semplifica addSegment con TableConfig ridondante, suddividi addOrReplaceSegment in addSegment e refreshSegment, e allinea la logica di caricamento dei segmenti committati per le tabelle in tempo reale e offline.
Tech stack
java
Dominio
backend
Tipo issue
Refactoring
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
GitJavaApache Pinot
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60