apache/beam

No python equivalent of org.apache.beam.sdk.transforms.Sample.any(100)?

Open

#18.552 aperta il 3 giu 2022

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Java (4097 fork)batch import
P3coregood first issueimprovementpython

Metriche repository

Star
 (7313 star)
Metriche merge PR
 (Merge medio 6g) (243 PR mergiate in 30 g)

Descrizione

Java's org.apache.beam.sdk.transforms.Sample.any will return a PCollection with bounded size (filtering strategy). The closest python eqiuvalent is beam.Sample.FixedSizeGlobally(n) whover, this version uses a combiner strategy, returning a list with n elements; which does not scale if n is "bigger than what fits in memory".

Imported from Jira BEAM-3000. Original Jira may contain additional context. Reported by: rodrigob.

Guida contributor

Direzione di ricerca
Investiga come implementare una trasformazione di campionamento con dimensione limitata in Python Beam, simile a Sample.any di Java. Esplora possibili implementazioni usando una strategia di filtraggio invece dell'attuale strategia di combinazione.
Tech stack
pythonjava
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Apache BeamPython
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40