apache/pinot

Inconsistent segment file extension for TarGzPush and MetadataPush

Open

#10 375 ouverte le 3 mars 2023

Voir sur GitHub
 (6 commentaires) (0 réactions) (1 assigné)Java (1 234 forks)batch import
good first issue

Métriques du dépôt

Stars
 (4 937 stars)
Métriques de merge PR
 (Merge moyen 6j 7h) (186 PRs mergées en 30 j)

Description

Our SegmentGenerationJobRunner adds tar.gz extension to the segment file name.

  • TarGzPush: the controller side segment upload logic removes tar.gzextension when copying data to deep storage. The segment file will be stored as fileName.
  • MetadataPush: we use pinotFS to copy file from local to dst. Segment file will be stored as fileName.tar.gz.

It's going to be good if we can make the name convension the same. But, this will change the file name convension to the deepstorage. We should at least consider to add the config to remove the extension to have the clear migration path. (e.g. some people can start the cluster using TarGzPush and want to migrate to MetadataPush and keep the file names the same convention in the deep storage)

Guide contributeur

Direction de recherche
Examinez le SegmentGenerationJobRunner pour comprendre comment l'extension tar.gz est ajoutée, puis comparez TarGzPush et MetadataPush pour trouver où l'extension est supprimée ou conservée. Identifiez les chemins de code et proposez une convention de nommage cohérente ou une option de configuration.
Stack technique
java
Domaine
backend
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Investigation requise
Prérequis
JavaGit
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60