delta-io/delta

[Feature Request] Consolidate CDF TahoeFileIndex code paths

Open

#1.127 aberto em 12 de mai. de 2022

Ver no GitHub
 (1 comment) (0 reactions) (1 assignee)Scala (2.100 forks)batch import
enhancementgood first issue

Métricas do repositório

Stars
 (8.807 stars)
Métricas de merge de PR
 (Mesclagem média 7d 1h) (142 fundiu PRs em 30d)

Description

Feature request

Overview

This commit added 3 new TahoeFileIndex's for the Change Data Feed feature currently being developed for Delta Lake. These are: CdcAddFileIndex, TahoeChangeFileIndex, and TahoeRemoveFileIndex.

These three classes have lots of similar code paths + logic, and can be consolidated to a simpler abstract base class + children to reduce duplicate code.

Feel free to give them better class names, too.

Motivation

Clean up the code. Less code duplication. Better file and class names. Easier to maintain and debug in the future.

For more info on the Change Data Feed project for Delta Lake, see #1105.

Guia do colaborador

Direção de pesquisa
Revise as três classes TahoeFileIndex relacionadas ao CDF (CdcAddFileIndex, TahoeChangeFileIndex, TahoeRemoveFileIndex) do commit vinculado, identifique métodos e lógica comuns, projete uma classe base abstrata e refatore as classes filhas para herdar e sobrescrever comportamentos específicos.
Pilha de tecnologia
scalaspark
Domain
backend
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
ScalaSparkGit
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
65