apache/pinot

Inconsistent segment file extension for TarGzPush and MetadataPush

Open

#10.375 geöffnet am 3. März 2023

Auf GitHub ansehen
 (6 Kommentare) (0 Reaktionen) (1 zugewiesene Person)Java (1.234 Forks)batch import
good first issue

Repository-Metriken

Stars
 (4.937 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 6T 7h) (186 gemergte PRs in 30 T)

Beschreibung

Our SegmentGenerationJobRunner adds tar.gz extension to the segment file name.

  • TarGzPush: the controller side segment upload logic removes tar.gzextension when copying data to deep storage. The segment file will be stored as fileName.
  • MetadataPush: we use pinotFS to copy file from local to dst. Segment file will be stored as fileName.tar.gz.

It's going to be good if we can make the name convension the same. But, this will change the file name convension to the deepstorage. We should at least consider to add the config to remove the extension to have the clear migration path. (e.g. some people can start the cluster using TarGzPush and want to migrate to MetadataPush and keep the file names the same convention in the deep storage)

Contributor Guide

Research-Richtung
Untersuchen Sie den SegmentGenerationJobRunner, um zu verstehen, wie die tar.gz Erweiterung hinzugefügt wird, und vergleichen Sie dann TarGzPush und MetadataPush, um herauszufinden, wo die Erweiterung entfernt oder beibehalten wird. Identifizieren Sie die Codepfade und schlagen Sie eine konsistente Namenskonvention oder eine Konfigurationsoption vor.
Tech Stack
java
Domain
backend
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Recherche nötig
Voraussetzungen
JavaGit
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
60