delta-io/delta

[Feature Request] Skip creating FilteredColumnarBatch in ActiveAddFilesIterator if there is no active AddFiles in the batch

Open

#4.941 geöffnet am 17. Juli 2025

Auf GitHub ansehen
 (1 Kommentar) (0 Reaktionen) (0 zugewiesene Personen)Scala (2.100 Forks)batch import
enhancementgood first issue

Repository-Metriken

Stars
 (8.807 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 7T 1h) (142 gemergte PRs in 30 T)

Beschreibung

Feature request

Which Delta project/connector is this regarding?

  • Spark
  • Standalone
  • Flink
  • Kernel
  • Other (fill in here)

Overview

Today, a FilteredColumnarBatch with no Active AddFiles will be returned as the result of Scan::getScanFiles (also PaginatedScan::getScanFiles() ). We want to skip creating FilteredColumnarBatch in ActiveAddFilesIterator if there is no active AddFiles in the batch.

Motivation

Further details

Willingness to contribute

The Delta Lake Community encourages new feature contributions. Would you or another member of your organization be willing to contribute an implementation of this feature?

  • Yes. I can contribute this feature independently.
  • Yes. I would be willing to contribute this feature with guidance from the Delta Lake community.
  • No. I cannot contribute this feature at this time.

Contributor Guide

Research-Richtung
Untersuche die Klasse ActiveAddFilesIterator im Kernel Modul. Das Ziel ist es, vor der Erstellung eines FilteredColumnarBatch eine Prüfung hinzuzufügen: Wenn es im aktuellen Batch keine aktiven AddFiles gibt, überspringe die Erstellung des FilteredColumnarBatch und fahre mit dem nächsten Batch fort. Sieh dir an, wie FilteredColumnarBatch in ActiveAddFilesIterator erstellt wird, und passe die Logik entsprechend an. Noch keine verknüpfte PR.
Tech Stack
scalajava
Domain
backenddatabase
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
GitScala/Java basics
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
70