apache/beam

[Feature Request]: Use unique id for Python BigQueryIO

Open

#22.733 aberto em 15 de ago. de 2022

Ver no GitHub
 (9 comments) (0 reactions) (1 assignee)Java (4.097 forks)batch import
P2gcpgood first issueionew featurepython

Métricas do repositório

Stars
 (7.313 stars)
Métricas de merge de PR
 (Mesclagem média 6d) (243 fundiu PRs em 30d)

Description

What would you like to happen?

There can be a collision when 2 pipelines using templates are loading to BigQuery at the same time to the same temp_location.

@baeminbo found there is code to use unique_id [1], but it seems that templates can re-use the same uuid. It is fixed for Java[2] by moving the UUID generation into a DoFn of a ParDo

[1] https://github.com/apache/beam/blob/v2.34.0/sdks/python/apache_beam/io/gcp/bigquery.py#L2399 [2] https://github.com/apache/beam/blob/v2.34.0/sdks/java/io/google-cloud-platform/src/main/java/org/apache/beam/sdk/io/gcp/bigquery/BigQueryIO.java#L1094-L1105

Issue Priority

Priority: 2

Issue Component

Component: io-py-gcp

Guia do colaborador

Direção de pesquisa
O problema descreve uma colisão no Python BigQueryIO quando dois pipelines usam modelos com o mesmo temp location. Ele referencia o código existente em apache beam/io/gcp/bigquery.py por volta da linha 2399 e uma correção Java em BigQueryIO.java nas linhas 1094-1105. A solução envolve mover a geração de UUID para um DoFn dentro de um ParDo. Um novato deve examinar o arquivo Python, entender o uso atual do UUID e replicar o padrão de correção Java. O problema tem um responsável (não especificado) e comentários, então verifique se há trabalho existente antes de começar.
Pilha de tecnologia
python
Domain
backendapidata
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PythonBigQuery
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
50