apache/pinot

What's the root cause to wiki's recommendation: "Pause consumption when add a new column"?

Open

#12 652 ouverte le 14 mars 2024

Voir sur GitHub
 (4 commentaires) (0 réactions) (0 assignés)Java (1 234 forks)batch import
documentationgood first issuetroubleshooting

Métriques du dépôt

Stars
 (4 937 stars)
Métriques de merge PR
 (Merge moyen 6j 7h) (186 PRs mergées en 30 j)

Description

In the ingestion transformation wiki page, it mentioned that

If a new column is added to table or schema configuration during ingestion, incorrect data may appear in the consuming segment.

To ensure accurate values are reloaded, do the following: Pause consumption (and wait for pause status success)

Is it only limited to table which has ingestion transform config? If not, it seems a breaking change since we need to pause consumption for every schema update.

Another question: In which scenario the data will incorrectly appears?

Guide contributeur

Direction de recherche
Commencez par examiner le code de transformation d'ingestion dans Apache Pinot, en particulier la gestion des changements de schéma pendant la consommation des segments. Examinez la classe IngestionTransformations et la logique du consommateur associée pour comprendre la cause profonde de la recommandation de suspendre la consommation. Recherchez toute condition de concurrence ou hypothèse sur la stabilité du schéma qui pourrait conduire à des données incorrectes.
Stack technique
java
Domaine
backenddatabasedata
Type d'issue
Recherche
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
JavaApache Pinot
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60