delta-io/delta

[Feature Request] Skip creating FilteredColumnarBatch in ActiveAddFilesIterator if there is no active AddFiles in the batch

Open

#4941 aperta il 17 lug 2025

Vedi su GitHub
 (1 commento) (0 reazioni) (0 assegnatari)Scala (2100 fork)batch import
enhancementgood first issue

Metriche repository

Star
 (8807 star)
Metriche merge PR
 (Merge medio 7g 1h) (142 PR mergiate in 30 g)

Descrizione

Feature request

Which Delta project/connector is this regarding?

  • Spark
  • Standalone
  • Flink
  • Kernel
  • Other (fill in here)

Overview

Today, a FilteredColumnarBatch with no Active AddFiles will be returned as the result of Scan::getScanFiles (also PaginatedScan::getScanFiles() ). We want to skip creating FilteredColumnarBatch in ActiveAddFilesIterator if there is no active AddFiles in the batch.

Motivation

Further details

Willingness to contribute

The Delta Lake Community encourages new feature contributions. Would you or another member of your organization be willing to contribute an implementation of this feature?

  • Yes. I can contribute this feature independently.
  • Yes. I would be willing to contribute this feature with guidance from the Delta Lake community.
  • No. I cannot contribute this feature at this time.

Guida contributor

Direzione di ricerca
Indaga sulla classe ActiveAddFilesIterator nel modulo Kernel. L'obiettivo è aggiungere un controllo prima di creare un FilteredColumnarBatch: se non ci sono AddFiles attivi nel batch corrente, saltare la creazione del FilteredColumnarBatch e passare al batch successivo. Esamina come viene creato FilteredColumnarBatch in ActiveAddFilesIterator e modifica la logica di conseguenza. Nessuna PR collegata al momento.
Tech stack
scalajava
Dominio
backenddatabase
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
GitScala/Java basics
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70