apache/beam

Can't use side inputs with Combine.PerKeyWithHotKeyFanout

Open

#20.637 geöffnet am 4. Juni 2022

Auf GitHub ansehen
 (3 Kommentare) (0 Reaktionen) (1 zugewiesene Person)Java (4.097 Forks)batch import
P3bugcoregood first issuejava

Repository-Metriken

Stars
 (7.313 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 6T) (243 gemergte PRs in 30 T)

Beschreibung

PerKeyWithHotKeyFanout doesn't allow a user to specify a side input and access it in the CombineFn. When the function withHotKeyFanout is called, any sideinputs stored in the Combine.PerKey are dropped. (https://github.com/apache/beam/blob/master/sdks/java/core/src/main/java/org/apache/beam/sdk/transforms/Combine.java#L1571): 


    public PerKeyWithHotKeyFanout<K, InputT, OutputT> withHotKeyFanout(
        SerializableFunction<?
super K, Integer> hotKeyFanout) {
      return new PerKeyWithHotKeyFanout<>(fn, fnDisplayData, hotKeyFanout);

   }

We would like to be able to use side inputs and hot key fanout.

Imported from Jira BEAM-11005. Original Jira may contain additional context. Reported by: miagilepner.

Contributor Guide

Research-Richtung
Untersuchen Sie die Methode `withHotKeyFanout` in `Combine.java` in Zeile 1571, die Seiteneingaben verwirft. Bestimmen Sie, wie Seiteneingaben beim Erstellen eines `PerKeyWithHotKeyFanout` erhalten und an die `CombineFn` übergeben werden können. Betrachten Sie die bestehende Behandlung von Seiteneingaben in anderen `Combine` Varianten und der Klasse `WithSideInputs`. Das Problem fordert die Unterstützung von Seiteneingaben zusammen mit Hot Key Fanout, was Änderungen am Konstruktor oder der Methode `PerKeyWithHotKeyFanout` erfordert, um Seiteneingaben zu akzeptieren und zu speichern und sie dann während der Auswertung an die `CombineFn` weiterzuleiten.
Tech Stack
java
Domain
backend
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
JavaApache Beam
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
70