apache/beam

ProtoIO

Open

#17 983 ouverte le 3 juin 2022

Voir sur GitHub
 (0 commentaires) (0 réactions) (0 assignés)Java (4 097 forks)batch import
P3gcpgood first issueiojavanew feature

Métriques du dépôt

Stars
 (7 313 stars)
Métriques de merge PR
 (Merge moyen 6j) (243 PRs mergées en 30 j)

Description

Make it easy to read and write binary files of Protobuf objects. If there is a standard open source format for this, use it.

If not, roll our own and implement it?

Imported from Jira BEAM-221. Original Jira may contain additional context. Reported by: dhalperi.

Guide contributeur

Direction de recherche
Étudiez si Apache Beam dispose déjà d'un connecteur I/O standard pour lire/écrire des fichiers binaires Protobuf. Sinon, concevez une solution en exploitant les transformations I/O existantes de Beam (ex : FileBasedSink, PCollection) et en les intégrant avec la sérialisation Protobuf. Envisagez de créer une transformation I/O personnalisée ou de contribuer au DataflowRunner de Beam.
Stack technique
javapython
Domaine
backendapidistributed systems
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Récente
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
Java/PythonProtobufApache Beam
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
30