apache/beam

Can't use side inputs with Combine.PerKeyWithHotKeyFanout

Open

#20.637 aperta il 4 giu 2022

Vedi su GitHub
 (3 commenti) (0 reazioni) (1 assegnatario)Java (4097 fork)batch import
P3bugcoregood first issuejava

Metriche repository

Star
 (7313 star)
Metriche merge PR
 (Merge medio 6g) (243 PR mergiate in 30 g)

Descrizione

PerKeyWithHotKeyFanout doesn't allow a user to specify a side input and access it in the CombineFn. When the function withHotKeyFanout is called, any sideinputs stored in the Combine.PerKey are dropped. (https://github.com/apache/beam/blob/master/sdks/java/core/src/main/java/org/apache/beam/sdk/transforms/Combine.java#L1571): 


    public PerKeyWithHotKeyFanout<K, InputT, OutputT> withHotKeyFanout(
        SerializableFunction<?
super K, Integer> hotKeyFanout) {
      return new PerKeyWithHotKeyFanout<>(fn, fnDisplayData, hotKeyFanout);

   }

We would like to be able to use side inputs and hot key fanout.

Imported from Jira BEAM-11005. Original Jira may contain additional context. Reported by: miagilepner.

Guida contributor

Direzione di ricerca
Analizza il metodo `withHotKeyFanout` in `Combine.java` alla riga 1571, che scarta gli input secondari. Determina come preservare e passare gli input secondari al `CombineFn` durante la creazione di un `PerKeyWithHotKeyFanout`. Esamina la gestione esistente degli input secondari nelle altre varianti di `Combine` e nella classe `WithSideInputs`. La richiesta del problema è aggiungere supporto per gli input secondari insieme al fanout delle chiavi calde, il che richiede modifiche al costruttore o al metodo `PerKeyWithHotKeyFanout` per accettare e memorizzare gli input secondari, quindi propagarli al `CombineFn` durante la valutazione.
Tech stack
java
Dominio
backend
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
JavaApache Beam
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70