delta-io/delta

[Feature Request] Consolidate CDF TahoeFileIndex code paths

Open

#1127 aperta il 12 mag 2022

Vedi su GitHub
 (1 commento) (0 reazioni) (1 assegnatario)Scala (2100 fork)batch import
enhancementgood first issue

Metriche repository

Star
 (8807 star)
Metriche merge PR
 (Merge medio 7g 1h) (142 PR mergiate in 30 g)

Descrizione

Feature request

Overview

This commit added 3 new TahoeFileIndex's for the Change Data Feed feature currently being developed for Delta Lake. These are: CdcAddFileIndex, TahoeChangeFileIndex, and TahoeRemoveFileIndex.

These three classes have lots of similar code paths + logic, and can be consolidated to a simpler abstract base class + children to reduce duplicate code.

Feel free to give them better class names, too.

Motivation

Clean up the code. Less code duplication. Better file and class names. Easier to maintain and debug in the future.

For more info on the Change Data Feed project for Delta Lake, see #1105.

Guida contributor

Direzione di ricerca
Esamina le tre classi TahoeFileIndex relative a CDF (CdcAddFileIndex, TahoeChangeFileIndex, TahoeRemoveFileIndex) dal commit collegato, identifica metodi e logica comuni, progetta una classe base astratta e rifattorizza le sottoclassi per ereditare e sovrascrivere comportamenti specifici.
Tech stack
scalaspark
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
ScalaSparkGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65