apache/beam

ProtoIO

Open

#17.983 aperta il 3 giu 2022

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Java (4097 fork)batch import
P3gcpgood first issueiojavanew feature

Metriche repository

Star
 (7313 star)
Metriche merge PR
 (Merge medio 6g) (243 PR mergiate in 30 g)

Descrizione

Make it easy to read and write binary files of Protobuf objects. If there is a standard open source format for this, use it.

If not, roll our own and implement it?

Imported from Jira BEAM-221. Original Jira may contain additional context. Reported by: dhalperi.

Guida contributor

Direzione di ricerca
Indaga se Apache Beam ha già un connettore I/O standard per leggere/scrivere file binari Protobuf. In caso contrario, progetta una soluzione sfruttando le trasformazioni I/O esistenti di Beam (es. FileBasedSink, PCollection) e integrandole con la serializzazione Protobuf. Considera la creazione di una trasformazione I/O personalizzata o il contributo al DataflowRunner di Beam.
Tech stack
javapython
Dominio
backendapidistributed systems
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
Java/PythonProtobufApache Beam
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
30