apache/pinot

Tool for migrating from one deep store to another

Open

#7275 aperta il 10 ago 2021

Vedi su GitHub
 (4 commenti) (0 reazioni) (0 assegnatari)Java (1234 fork)batch import
good first issuehelp wanted

Metriche repository

Star
 (4937 star)
Metriche merge PR
 (Merge medio 6g 7h) (186 PR mergiate in 30 g)

Descrizione

A use case for this is, say someone started with controller local as deep store, and then wants to migrate to using Azure as deep store. If they enable this, the newer segments will use Azure as deep store, but the older segments will still remain on controller local disk. The only way to move the old segments is to manually copy them over to Azure, and then modify the segment zk metadata.

An admin tool for migrating from deep store X to Y would be handy.

Guida contributor

Direzione di ricerca
Indaga sulle implementazioni esistenti di deep store (ad es., controller locale, Azure) e su come i metadati dei segmenti siano memorizzati in ZooKeeper. Esamina la codebase di Pinot per strumenti di amministrazione simili e comprendi il ciclo di vita dei segmenti. Controlla i commenti nell'issue per eventuali contesti o requisiti aggiuntivi. Un risultato concreto sarebbe un documento di progettazione che delinei l'API e il flusso di lavoro dello strumento di migrazione.
Tech stack
java
Dominio
backenddevops
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
3-5 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
JavaGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
50