delta-io/delta

[Feature Request] Skip creating FilteredColumnarBatch in ActiveAddFilesIterator if there is no active AddFiles in the batch

Ouverte

#4 941 ouverte le 17 juil. 2025

Voir sur GitHubGuide contributeur
 (1 commentaire) (0 réaction) (0 personne assignée)Scala (2 159 forks)batch import
enhancementgood first issue

Métriques du dépôt

Stars
 (8 950 étoiles)
Métriques de merge PR
 (Métriques PR en attente)

Description

Feature request

Which Delta project/connector is this regarding?

  • Spark
  • Standalone
  • Flink
  • Kernel
  • Other (fill in here)

Overview

Today, a FilteredColumnarBatch with no Active AddFiles will be returned as the result of Scan::getScanFiles (also PaginatedScan::getScanFiles() ). We want to skip creating FilteredColumnarBatch in ActiveAddFilesIterator if there is no active AddFiles in the batch.

Motivation

Further details

Willingness to contribute

The Delta Lake Community encourages new feature contributions. Would you or another member of your organization be willing to contribute an implementation of this feature?

  • Yes. I can contribute this feature independently.
  • Yes. I would be willing to contribute this feature with guidance from the Delta Lake community.
  • No. I cannot contribute this feature at this time.

Guide contributeur

Direction de recherche
Étudiez la classe ActiveAddFilesIterator dans le module Kernel. L'objectif est d'ajouter une vérification avant de créer un FilteredColumnarBatch : s'il n'y a pas de AddFiles actifs dans le lot actuel, ignorez la création du FilteredColumnarBatch et passez au lot suivant. Examinez comment FilteredColumnarBatch est créé dans ActiveAddFilesIterator et modifiez la logique en conséquence. Aucune PR liée pour le moment.
Stack technique
scalajava
Domaine
backenddatabase
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
GitScala/Java basics
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
70