apache/pinot

Refactor to eliminate duplicate code in Spark 2.x and 3.x Batch Ingestion

Open

#14.271 aperta il 22 ott 2024

Vedi su GitHub
 (1 commento) (0 reazioni) (1 assegnatario)Java (1234 fork)batch import
cleanupgood first issueingestion

Metriche repository

Star
 (4937 star)
Metriche merge PR
 (Merge medio 6g 7h) (186 PR mergiate in 30 g)

Descrizione

Currently between spark 2.x and spark 3.x batch ingestion lot of code is duplicated other than SparkSegmentMetadataPushJobRunner class. This ticket is to refactor the code to eliminate the duplicate code without breaking the compatibility. Code changes required are to :

  • Abstract common functionality into shared methods/classes.
  • Separate version-specific details.
  • Ensure the resulting codebase is cleaner and easier to maintain.

Guida contributor

Direzione di ricerca
Identifica i modelli di codice duplicato tra l'ingestione batch di Spark 2.x e 3.x, estrai le funzionalità comuni in metodi condivisi e separa le implementazioni specifiche della versione.
Tech stack
java
Dominio
backend
Tipo issue
Refactoring
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
JavaGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65