apache/pinot

Support dynamic updates to existing derived columns in table

Open

#8 700 ouverte le 14 mai 2022

Voir sur GitHub
 (3 commentaires) (0 réactions) (0 assignés)Java (1 234 forks)batch import
featurehelp wanted

Métriques du dépôt

Stars
 (4 937 stars)
Métriques de merge PR
 (Merge moyen 6j 7h) (186 PRs mergées en 30 j)

Description

Currently Pinot doesn't support runtime changes to existing derived columns (for e.g change to ingestion transform expression) in table. Only way to make such updates is to either delete/recreate the table and ingest from scratch or add a new derived column with the changes, neither of which are ideal from usability perspective.

Can we consider improving this behavior so users can easily make adjustments to the data via table config/schema change and subsequently doing a segment reload ? cc @Jackie-Jiang @mayankshriv

Guide contributeur

Direction de recherche
Comprenez comment Pinot applique les expressions de transformation d'ingestion lors de la génération de segments et explorez comment le rechargement de segments pourrait déclencher le recalcul des colonnes dérivées sans réingestion complète. Consultez la configuration de la table, le schéma et les API de métadonnées de segment.
Stack technique
java
Domaine
databasedistributed systemsbackend
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
3-5 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
Apache PinotJavaOLAP concepts
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
40