apache/pinot

Refactor to eliminate duplicate code in Spark 2.x and 3.x Batch Ingestion

Open

Aperta il 22 ott 2024

Vedi su GitHub
 (1 commento) (0 reazioni) (1 assegnatario)Java (4937 star) (1234 fork)batch import
cleanupgood first issueingestion

Descrizione

Currently between spark 2.x and spark 3.x batch ingestion lot of code is duplicated other than SparkSegmentMetadataPushJobRunner class. This ticket is to refactor the code to eliminate the duplicate code without breaking the compatibility. Code changes required are to :

  • Abstract common functionality into shared methods/classes.
  • Separate version-specific details.
  • Ensure the resulting codebase is cleaner and easier to maintain.

Guida contributor

Tech stack
java
Dominio
data
Tipo issue
refactor
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
4
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 days
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
active
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
clear
Prerequisiti
JavaSpark batch ingestion in PinotUnderstanding of Spark 2.x vs 3.x differences
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
35
Direzione di ricerca
Esamina il codice per l'ingestione batch di Spark 2.x e 3.x, concentrandoti su SparkSegmentMetadataPushJobRunner e classi correlate. Identifica la logica duplicata e progetta metodi condivisi o classi genitore per eliminare la duplicazione, mantenendo il comportamento specifico della versione. Garantisci la compatibilità con le versioni precedenti testando entrambe le versioni.