spotify/scio

Reservoir sampling into a side output?

Ouverte

#1 321 ouverte le 23 août 2018

Voir sur GitHubGuide contributeur
 (6 commentaires) (0 réaction) (0 personne assignée)Scala (529 forks)auto 404
enhancementgood first issue

Métriques du dépôt

Stars
 (2 626 étoiles)
Métriques de merge PR
 (Métriques PR en attente)

Description

Right now we have SCollection#sample which uses a Beam transform and is implemented as a global combine operation. It'll be nice to have a sample into side output variation that passes main input through while randomly reservoir sample them into a side input. We should also benchmark this approach against the Beam implementation.

Guide contributeur

Direction de recherche
Étudiez l'implémentation actuelle de SCollection#sample, comprenez le concept de sortie latérale de Beam (par exemple avec ParDo et PCollectionViews), implémentez une nouvelle méthode qui passe l'entrée principale inchangée tout en échantillonnant aléatoirement un sous ensemble dans une sortie latérale via le réservoir. Comparez la nouvelle approche avec l'implémentation de combinaison globale par benchmark.
Stack technique
scala
Domaine
backend
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
Scala
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
70