apache/pinot

Tool for migrating from one deep store to another

Open

#7 275 ouverte le 10 août 2021

Voir sur GitHub
 (4 commentaires) (0 réactions) (0 assignés)Java (1 234 forks)batch import
good first issuehelp wanted

Métriques du dépôt

Stars
 (4 937 stars)
Métriques de merge PR
 (Merge moyen 6j 7h) (186 PRs mergées en 30 j)

Description

A use case for this is, say someone started with controller local as deep store, and then wants to migrate to using Azure as deep store. If they enable this, the newer segments will use Azure as deep store, but the older segments will still remain on controller local disk. The only way to move the old segments is to manually copy them over to Azure, and then modify the segment zk metadata.

An admin tool for migrating from deep store X to Y would be handy.

Guide contributeur

Direction de recherche
Étudiez les implémentations existantes de deep store (par exemple, contrôleur local, Azure) et comment les métadonnées de segment sont stockées dans ZooKeeper. Examinez la base de code de Pinot pour des outils d'administration similaires et comprenez le cycle de vie des segments. Consultez les commentaires dans l'issue pour tout contexte ou exigence supplémentaire. Un livrable concret serait un document de conception décrivant l'API et le flux de travail de l'outil de migration.
Stack technique
java
Domaine
backenddevops
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
3-5 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
JavaGit
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
50