apache/pinot

Support dynamic updates to existing derived columns in table

Open

#8700 aperta il 14 mag 2022

Vedi su GitHub
 (3 commenti) (0 reazioni) (0 assegnatari)Java (1234 fork)batch import
featurehelp wanted

Metriche repository

Star
 (4937 star)
Metriche merge PR
 (Merge medio 6g 7h) (186 PR mergiate in 30 g)

Descrizione

Currently Pinot doesn't support runtime changes to existing derived columns (for e.g change to ingestion transform expression) in table. Only way to make such updates is to either delete/recreate the table and ingest from scratch or add a new derived column with the changes, neither of which are ideal from usability perspective.

Can we consider improving this behavior so users can easily make adjustments to the data via table config/schema change and subsequently doing a segment reload ? cc @Jackie-Jiang @mayankshriv

Guida contributor

Direzione di ricerca
Comprendi come Pinot applica le espressioni di trasformazione durante la generazione dei segmenti ed esplora come il ricaricamento dei segmenti potrebbe attivare il ricalcolo delle colonne derivate senza una nuova acquisizione completa. Esamina la configurazione della tabella, lo schema e le API dei metadati dei segmenti.
Tech stack
java
Dominio
databasedistributed systemsbackend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
3-5 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
Apache PinotJavaOLAP concepts
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40