apache/pinot

Enhance the default column handling

Open

#8699 aperta il 13 mag 2022

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Java (1234 fork)batch import
help wanted

Metriche repository

Star
 (4937 star)
Metriche merge PR
 (Merge medio 6g 7h) (186 PR mergiate in 30 g)

Descrizione

When new columns are added to a pinot table, the server is able to automatically generate default columns for the new added columns. There are 2 types of default column that can be auto-generated:

  1. New added column without transform function: default column will be filled with default null value (always dictionary encoded)
  2. New added column with transform function (derived column): default column will be filled with values calculated based on the transform function

There are 2 things not handled right now:

  1. Generate default column raw forward index (not dictionary encoded)
  2. Support transform function on another new added column: we need to calculate the dependency between new added columns, and generate them in sequence

See BaseDefaultColumnHandler for details

Guida contributor

Direzione di ricerca
Studia la classe BaseDefaultColumnHandler per comprendere la logica attuale di generazione delle colonne predefinite. Concentrati su due funzionalità mancanti: (1) generazione di indici forward raw (non dizionario) per le nuove colonne, e (2) gestione delle dipendenze quando una funzione di trasformazione fa riferimento a un'altra colonna appena aggiunta. Traccia come vengono aggiunte le colonne e come vengono calcolati i valori predefiniti. Cerca test esistenti ed eseguili per riprodurre il problema.
Tech stack
java
Dominio
databasedistributed systems
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
JavaApache Pinot basics
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
30