spotify/scio

Reservoir sampling into a side output?

Offen

#1.321 geöffnet am 23.08.2018

Auf GitHub ansehenContributor Guide
 (6 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Scala (529 Forks)auto 404
enhancementgood first issue

Repository-Metriken

Stars
 (2.626 Sterne)
PR-Merge-Metriken
 (PR-Metriken ausstehend)

Beschreibung

Right now we have SCollection#sample which uses a Beam transform and is implemented as a global combine operation. It'll be nice to have a sample into side output variation that passes main input through while randomly reservoir sample them into a side input. We should also benchmark this approach against the Beam implementation.

Contributor Guide

Research-Richtung
Untersuchen Sie die aktuelle SCollection#sample Implementierung, verstehen Sie das Konzept der Seitenausgabe von Beam (z. B. mit ParDo und PCollectionViews), implementieren Sie eine neue Methode, die die Haupteingabe unverändert durchlässt, während eine zufällige Teilmenge per Reservoir Sampling in eine Seitenausgabe ausgegeben wird. Vergleichen Sie den neuen Ansatz mit der globalen Combine Implementierung per Benchmark.
Tech Stack
scala
Domain
backend
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
Scala
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
70