apache/pinot

Refactor to eliminate duplicate code in Spark 2.x and 3.x Batch Ingestion

Open

#14 271 ouverte le 22 oct. 2024

Voir sur GitHub
 (1 commentaire) (0 réactions) (1 assigné)Java (4 937 stars) (1 234 forks)batch import
cleanupgood first issueingestion

Description

Currently between spark 2.x and spark 3.x batch ingestion lot of code is duplicated other than SparkSegmentMetadataPushJobRunner class. This ticket is to refactor the code to eliminate the duplicate code without breaking the compatibility. Code changes required are to :

  • Abstract common functionality into shared methods/classes.
  • Separate version-specific details.
  • Ensure the resulting codebase is cleaner and easier to maintain.

Guide contributeur

Stack technique
java
Domaine
data
Type d'issue
refactor
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
4
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 days
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
clear
Prérequis
JavaSpark batch ingestion in PinotUnderstanding of Spark 2.x vs 3.x differences
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
35
Direction de recherche
Examine the code for Spark 2.x and 3.x batch ingestion, focusing on SparkSegmentMetadataPushJobRunner and related classes. Identify duplicated logic and design shared methods or parent classes to eliminate duplication while maintaining version specific behavior. Ensure backward compatibility by testing both versions.