apache/pinot

Refactor to eliminate duplicate code in Spark 2.x and 3.x Batch Ingestion

Open

#14 271 ouverte le 22 oct. 2024

Voir sur GitHub
 (1 commentaire) (0 réactions) (1 assigné)Java (1 234 forks)batch import
cleanupgood first issueingestion

Métriques du dépôt

Stars
 (4 937 stars)
Métriques de merge PR
 (Merge moyen 6j 7h) (186 PRs mergées en 30 j)

Description

Currently between spark 2.x and spark 3.x batch ingestion lot of code is duplicated other than SparkSegmentMetadataPushJobRunner class. This ticket is to refactor the code to eliminate the duplicate code without breaking the compatibility. Code changes required are to :

  • Abstract common functionality into shared methods/classes.
  • Separate version-specific details.
  • Ensure the resulting codebase is cleaner and easier to maintain.

Guide contributeur

Direction de recherche
Identifiez les modèles de code dupliqués entre l'ingestion par lots de Spark 2.x et 3.x, extrayez les fonctionnalités communes dans des méthodes partagées et séparez les implémentations spécifiques à la version.
Stack technique
java
Domaine
backend
Type d'issue
Refactorisation
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
JavaGit
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
65