apache/beam

ProtoIO

Aberta

#17.983 aberto em 3 de jun. de 2022

Ver no GitHubGuia do colaborador
 (0 comentário) (0 reação) (0 responsável)Java (4.097 forks)batch import
P3gcpgood first issueiojavanew feature

Métricas do repositório

Stars
 (7.313 estrelas)
Métricas de merge de PR
 (Métricas PR pendentes)

Description

Make it easy to read and write binary files of Protobuf objects. If there is a standard open source format for this, use it.

If not, roll our own and implement it?

Imported from Jira BEAM-221. Original Jira may contain additional context. Reported by: dhalperi.

Guia do colaborador

Direção de pesquisa
Investigue se o Apache Beam já possui um conector I/O padrão para ler/escrever arquivos binários Protobuf. Caso não, projete uma solução utilizando as transformações I/O existentes do Beam (ex: FileBasedSink, PCollection) e integrando com a serialização Protobuf. Considere criar uma transformação I/O personalizada ou contribuir para o DataflowRunner do Beam.
Pilha de tecnologia
javapython
Domain
backendapidistributed systems
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Recente
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
Java/PythonProtobufApache Beam
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
30