delta-io/delta

[Kernel][Data skipping] Add the STARTS_WITH expression and support data skipping for it

Open

#2.539 geöffnet am 18. Jan. 2024

Auf GitHub ansehen
 (8 Kommentare) (0 Reaktionen) (1 zugewiesene Person)Scala (2.100 Forks)batch import
enhancementgood first issuekernel

Repository-Metriken

Stars
 (8.807 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 7T 1h) (142 gemergte PRs in 30 T)

Beschreibung

Feature request

Which Delta project/connector is this regarding?

  • Spark
  • Standalone
  • Flink
  • Kernel
  • Other (fill in here)

Overview

Currently Kernel supports a limited set of expressions. We should 1) add the STARTS_WITH expression and 2) use file statistics to prune files based on the expression.

Motivation

Better file pruning.

Further details

This means we should

  1. add STARTS_WITH to the Kernel Predicate and support it in the kernel-defaults project
  2. Generate a data skipping filter according to the same rules we use in delta-spark

Willingness to contribute

The Delta Lake Community encourages new feature contributions. Would you or another member of your organization be willing to contribute an implementation of this feature?

  • Yes. I can contribute this feature independently.
  • Yes. I would be willing to contribute this feature with guidance from the Delta Lake community.
  • No. I cannot contribute this feature at this time.

Contributor Guide

Research-Richtung
Untersuche die bestehende Predicate Implementierung in kernel api und die Data Skipping Filter Generierung in kernel defaults. Siehe DataSkippingReader.scala im Spark Modul als Referenz. Implementiere STARTS WITH in Predicate.java und integriere es in das Datei Pruning.
Tech Stack
javaspark
Domain
backenddatabase
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
3-5 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
GitJava
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
60