Multiple batch joins on the same key results in multiple shuffles

Metriche repository

Star

7313 stelle (7313 stelle)

Metriche merge PR

Metriche PR in attesa (Metriche PR in attesa)

Descrizione

SELECT a.*, b.*, c.* FROM a JOIN b ON a.some_id = b.some_id JOIN c ON a.some_id = c.some_id;

Guida contributor

Direzione di ricerca

Esamina l'implementazione di CoGBK Join e BeamJoinRel per capire perché si verificano più shuffle per i join sulla stessa chiave. Cerca opportunità per combinare gli shuffle riutilizzando i dati partizionati dal primo join.

Tech stack

java

Dominio

backenddata

Tipo issue

Performance

DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.

3

Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.

Mezza giornata

Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.

Datata

ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.

Chiara

Prerequisiti

JavaApache BeamSQL

Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.

40