apache/pinot

Enhance the default column handling

Open

#8.699 geöffnet am 13. Mai 2022

Auf GitHub ansehen
 (0 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Java (1.234 Forks)batch import
help wanted

Repository-Metriken

Stars
 (4.937 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 6T 7h) (186 gemergte PRs in 30 T)

Beschreibung

When new columns are added to a pinot table, the server is able to automatically generate default columns for the new added columns. There are 2 types of default column that can be auto-generated:

  1. New added column without transform function: default column will be filled with default null value (always dictionary encoded)
  2. New added column with transform function (derived column): default column will be filled with values calculated based on the transform function

There are 2 things not handled right now:

  1. Generate default column raw forward index (not dictionary encoded)
  2. Support transform function on another new added column: we need to calculate the dependency between new added columns, and generate them in sequence

See BaseDefaultColumnHandler for details

Contributor Guide

Research-Richtung
Untersuche die Klasse BaseDefaultColumnHandler, um die aktuelle Logik zur Erzeugung von Standardspalten zu verstehen. Konzentriere dich auf zwei fehlende Funktionen: (1) Erzeugung von rohen Forward Indizes (nicht Wörterbuch) für neue Spalten, und (2) Behandlung von Abhängigkeiten, wenn eine Transformationsfunktion auf eine andere neu hinzugefügte Spalte verweist. Verfolge, wie Spalten hinzugefügt werden und wie Standardwerte berechnet werden. Suche nach vorhandenen Tests und führe sie aus, um das Problem zu reproduzieren.
Tech Stack
java
Domain
databasedistributed systems
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Frisch
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
JavaApache Pinot basics
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
30