apache/pinot

What's the root cause to wiki's recommendation: "Pause consumption when add a new column"?

Open

#12.652 aperta il 14 mar 2024

Vedi su GitHub
 (4 commenti) (0 reazioni) (0 assegnatari)Java (1234 fork)batch import
documentationgood first issuetroubleshooting

Metriche repository

Star
 (4937 star)
Metriche merge PR
 (Merge medio 6g 7h) (186 PR mergiate in 30 g)

Descrizione

In the ingestion transformation wiki page, it mentioned that

If a new column is added to table or schema configuration during ingestion, incorrect data may appear in the consuming segment.

To ensure accurate values are reloaded, do the following: Pause consumption (and wait for pause status success)

Is it only limited to table which has ingestion transform config? If not, it seems a breaking change since we need to pause consumption for every schema update.

Another question: In which scenario the data will incorrectly appears?

Guida contributor

Direzione di ricerca
Inizia esaminando il codice di trasformazione dell'ingestione in Apache Pinot, in particolare la gestione delle modifiche allo schema durante il consumo dei segmenti. Osserva la classe IngestionTransformations e la logica del consumer correlata per comprendere la causa principale della raccomandazione di sospendere il consumo. Cerca eventuali condizioni di competizione o presupposti sulla stabilità dello schema che potrebbero portare a dati errati.
Tech stack
java
Dominio
backenddatabasedata
Tipo issue
Ricerca
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
JavaApache Pinot
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60