apache/beam

Support for writing protobuf data to parquet

Open

#19.366 aperta il 3 giu 2022

Vedi su GitHub
 (2 commenti) (0 reazioni) (1 assegnatario)Java (4097 fork)batch import
P2good first issuegsociojavanew featureparquet

Metriche repository

Star
 (7313 star)
Metriche merge PR
 (Merge medio 6g) (243 PR mergiate in 30 g)

Descrizione

Parquet infrastructure does support writing protobuf data to parquet. Beam's ParquetIO could give pipeline developers an option to write protobuf data instead of converting them to avro.

Imported from Jira BEAM-6394. Original Jira may contain additional context. Reported by: JozoVilcek.

Guida contributor

Direzione di ricerca
Esamina le classi ParquetIO esistenti per la scrittura di Avro e crea un'implementazione simile per Protobuf utilizzando ProtobufUtil o un WriteSupport personalizzato.
Tech stack
java
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
3-5 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
JavaApache BeamParquetProtobuf
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
30