delta-io/delta

[Feature Request] Consolidate CDF TahoeFileIndex code paths

Open

#1 127 ouverte le 12 mai 2022

Voir sur GitHub
 (1 commentaire) (0 réactions) (1 assigné)Scala (2 100 forks)batch import
enhancementgood first issue

Métriques du dépôt

Stars
 (8 807 stars)
Métriques de merge PR
 (Merge moyen 7j 1h) (142 PRs mergées en 30 j)

Description

Feature request

Overview

This commit added 3 new TahoeFileIndex's for the Change Data Feed feature currently being developed for Delta Lake. These are: CdcAddFileIndex, TahoeChangeFileIndex, and TahoeRemoveFileIndex.

These three classes have lots of similar code paths + logic, and can be consolidated to a simpler abstract base class + children to reduce duplicate code.

Feel free to give them better class names, too.

Motivation

Clean up the code. Less code duplication. Better file and class names. Easier to maintain and debug in the future.

For more info on the Change Data Feed project for Delta Lake, see #1105.

Guide contributeur

Direction de recherche
Passez en revue les trois classes TahoeFileIndex liées au CDF (CdcAddFileIndex, TahoeChangeFileIndex, TahoeRemoveFileIndex) du commit lié, identifiez les méthodes et la logique communes, concevez une classe de base abstraite et refactorez les classes enfants pour hériter et remplacer des comportements spécifiques.
Stack technique
scalaspark
Domaine
backend
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
ScalaSparkGit
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
65