apache/beam

Multiple batch joins on the same key results in multiple shuffles

Open

#19.097 aperta il 3 giu 2022

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Java (4097 fork)batch import
P3dslgood first issueimprovementsql

Metriche repository

Star
 (7313 star)
Metriche merge PR
 (Merge medio 6g) (243 PR mergiate in 30 g)

Descrizione

The query like this:


SELECT a.*, b.*, c.* FROM a JOIN b ON a.some_id = b.some_id JOIN c ON a.some_id = c.some_id;

results in two shuffles. Can probably be optimized.

Relevant code:

Imported from Jira BEAM-5049. Original Jira may contain additional context. Reported by: kedin.

Guida contributor

Direzione di ricerca
Esamina l'implementazione di CoGBK Join e BeamJoinRel per capire perché si verificano più shuffle per i join sulla stessa chiave. Cerca opportunità per combinare gli shuffle riutilizzando i dati partizionati dal primo join.
Tech stack
java
Dominio
backenddata
Tipo issue
Performance
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Datata
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
JavaApache BeamSQL
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40