apache/pinot

Inconsistent segment file extension for TarGzPush and MetadataPush

Open

#10.375 aperta il 3 mar 2023

Vedi su GitHub
 (6 commenti) (0 reazioni) (1 assegnatario)Java (1234 fork)batch import
good first issue

Metriche repository

Star
 (4937 star)
Metriche merge PR
 (Merge medio 6g 7h) (186 PR mergiate in 30 g)

Descrizione

Our SegmentGenerationJobRunner adds tar.gz extension to the segment file name.

  • TarGzPush: the controller side segment upload logic removes tar.gzextension when copying data to deep storage. The segment file will be stored as fileName.
  • MetadataPush: we use pinotFS to copy file from local to dst. Segment file will be stored as fileName.tar.gz.

It's going to be good if we can make the name convension the same. But, this will change the file name convension to the deepstorage. We should at least consider to add the config to remove the extension to have the clear migration path. (e.g. some people can start the cluster using TarGzPush and want to migrate to MetadataPush and keep the file names the same convention in the deep storage)

Guida contributor

Direzione di ricerca
Esamina SegmentGenerationJobRunner per capire come viene aggiunta l'estensione tar.gz, quindi confronta TarGzPush e MetadataPush per trovare dove l'estensione viene rimossa o preservata. Identifica i percorsi del codice e proponi una convenzione di denominazione coerente o un'opzione di configurazione.
Tech stack
java
Dominio
backend
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Richiede indagine
Prerequisiti
JavaGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60