spotify/scio

Reservoir sampling into a side output?

Aperta

#1321 aperta il 23 ago 2018

Vedi su GitHubGuida contributor
 (6 commenti) (0 reazioni) (0 assegnatari)Scala (529 fork)auto 404
enhancementgood first issue

Metriche repository

Star
 (2626 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Right now we have SCollection#sample which uses a Beam transform and is implemented as a global combine operation. It'll be nice to have a sample into side output variation that passes main input through while randomly reservoir sample them into a side input. We should also benchmark this approach against the Beam implementation.

Guida contributor

Direzione di ricerca
Studia l'attuale implementazione di SCollection#sample, comprendi il concetto di side output di Beam (ad esempio con ParDo e PCollectionViews), implementa un nuovo metodo che passa l'input principale invariato mentre campiona in reservoir una sottosquadra casuale in un side output. Confronta il nuovo approccio con l'implementazione del combine globale con benchmark.
Tech stack
scala
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Scala
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70