apache/pinot

Refactor to eliminate duplicate code in Spark 2.x and 3.x Batch Ingestion

Open

#14.271 aberto em 22 de out. de 2024

Ver no GitHub
 (1 comment) (0 reactions) (1 assignee)Java (1.234 forks)batch import
cleanupgood first issueingestion

Métricas do repositório

Stars
 (4.937 stars)
Métricas de merge de PR
 (Mesclagem média 6d 7h) (186 fundiu PRs em 30d)

Description

Currently between spark 2.x and spark 3.x batch ingestion lot of code is duplicated other than SparkSegmentMetadataPushJobRunner class. This ticket is to refactor the code to eliminate the duplicate code without breaking the compatibility. Code changes required are to :

  • Abstract common functionality into shared methods/classes.
  • Separate version-specific details.
  • Ensure the resulting codebase is cleaner and easier to maintain.

Guia do colaborador

Direção de pesquisa
Identifique padrões de código duplicado entre a ingestão em lote do Spark 2.x e 3.x, extraia funcionalidades comuns para métodos compartilhados e separe implementações específicas da versão.
Pilha de tecnologia
java
Domain
backend
Tipo Issue
Refatoração
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
JavaGit
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
65