apache/beam

ProtoIO

Open

#17.983 aberto em 3 de jun. de 2022

Ver no GitHub
 (0 comments) (0 reactions) (0 assignees)Java (4.097 forks)batch import
P3gcpgood first issueiojavanew feature

Métricas do repositório

Stars
 (7.313 stars)
Métricas de merge de PR
 (Mesclagem média 6d) (243 fundiu PRs em 30d)

Description

Make it easy to read and write binary files of Protobuf objects. If there is a standard open source format for this, use it.

If not, roll our own and implement it?

Imported from Jira BEAM-221. Original Jira may contain additional context. Reported by: dhalperi.

Guia do colaborador

Direção de pesquisa
Investigue se o Apache Beam já possui um conector I/O padrão para ler/escrever arquivos binários Protobuf. Caso não, projete uma solução utilizando as transformações I/O existentes do Beam (ex: FileBasedSink, PCollection) e integrando com a serialização Protobuf. Considere criar uma transformação I/O personalizada ou contribuir para o DataflowRunner do Beam.
Pilha de tecnologia
javapython
Domain
backendapidistributed systems
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Recente
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
Java/PythonProtobufApache Beam
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
30