apache/beam

[Feature Request]: Request to use BASIC enum when calling tables.get() in BigQuery

Fermée

#34 075 ouverte le 26 févr. 2025

Voir sur GitHubGuide contributeur
 (7 commentaires) (0 réaction) (1 personne assignée)Java (4 097 forks)batch import
P2good first issuenew featurepinnedpythonstale

Métriques du dépôt

Stars
 (7 313 étoiles)
Métriques de merge PR
 (Merge moyen 6j) (243 PRs mergées en 30 j)

Description

What would you like to happen?

When calling BigQuery's tables.get method, today, we are retrieving FULL details (which is the default). However, this is expensive and is resulting in customers hitting Quota issues. BigQuery engineering team is open to relaxing this Quota if we retrieve using "BASIC" enum.

https://cloud.google.com/bigquery/docs/reference/rest/v2/tables/get

https://github.com/apache/beam/blob/9a1e7bf4cd399177e5de7fe28bad741cade452a5/sdks/python/apache_beam/io/gcp/bigquery.py#L902-L903

https://github.com/apache/beam/blob/9a1e7bf4cd399177e5de7fe28bad741cade452a5/sdks/python/apache_beam/io/gcp/bigquery_tools.py#L565

Issue Priority

Priority: 2 (default / most feature requests should be filed as P2)

Issue Components

  • Component: Python SDK
  • Component: Java SDK
  • Component: Go SDK
  • Component: Typescript SDK
  • Component: IO connector
  • Component: Beam YAML
  • Component: Beam examples
  • Component: Beam playground
  • Component: Beam katas
  • Component: Website
  • Component: Infrastructure
  • Component: Spark Runner
  • Component: Flink Runner
  • Component: Samza Runner
  • Component: Twister2 Runner
  • Component: Hazelcast Jet Runner
  • Component: Google Cloud Dataflow Runner

Guide contributeur

Direction de recherche
Modifiez les appels à BigQuery tables.get() dans apache beam/io/gcp/bigquery.py (lignes 902-903) et apache beam/io/gcp/bigquery tools.py (ligne 565) pour inclure le paramètre 'view' défini sur 'BASIC'. Cela réduit les données récupérées et évite les problèmes de quota. Assurez la rétrocompatibilité en définissant par défaut FULL si non spécifié, ou suivez tout modèle existant.
Stack technique
python
Domaine
backendcloudapi
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PythonGit
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
80