apache/beam

Python SDK BigQuery `schemaUpdateOptions`

Open

#21.141 aberto em 4 de jun. de 2022

Ver no GitHub
 (2 comments) (0 reactions) (1 assignee)Java (4.097 forks)batch import
P3gcpgood first issueimprovementiopythonusability

Métricas do repositório

Stars
 (7.313 stars)
Métricas de merge de PR
 (Mesclagem média 6d) (243 fundiu PRs em 30d)

Description

I noticed that in the Java SDK schemaUpdateOptions are exposed clearly to the user: https://beam.apache.org/releases/javadoc/2.32.0/org/apache/beam/sdk/io/gcp/bigquery/BigQueryIO.Write.html

 

Whereas, in the Python SDK this option seems to only be able to be passed through additional_bq_paramaters. 

 

Is this something which should be resolved? Perhaps add the schemaUpdateOptions to https://github.com/apache/beam/blob/b9457b711029051a837255e1bb516e55d32e56d5/sdks/python/apache_beam/io/gcp/bigquery.py#L437 and expose a kwarg to pass them in? 

Imported from Jira BEAM-12994. Original Jira may contain additional context. Reported by: judah.rand.

Guia do colaborador

Direção de pesquisa
Esta issue solicita a exposição direta de `schemaUpdateOptions` como um kwarg no coletor Python do BigQuery, semelhante ao SDK Java. O arquivo relevante é `sdks/python/apache beam/io/gcp/bigquery.py` linha 437. Para prosseguir, examine a implementação Java como referência, depois adicione o parâmetro ao método de escrita em Python e garanta que ele seja passado corretamente para as chamadas de API subjacentes. Testes devem ser adicionados para verificar se a nova opção funciona conforme o esperado.
Pilha de tecnologia
python
Domain
dataapi
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Python SDKBigQuery
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
60