apache/beam

BigQueryBatchFileLoads dynamic destination

Open

#20 242 ouverte le 4 juin 2022

Voir sur GitHub
 (6 commentaires) (0 réactions) (1 assigné)Java (4 097 forks)batch import
P3bugdocumentationgcpgood first issueiopython

Métriques du dépôt

Stars
 (7 313 stars)
Métriques de merge PR
 (Merge moyen 6j) (243 PRs mergées en 30 j)

Description

I am trying to use BigQueryBatchFileLoads to upload data from pubsub. It works fine for a single table, but when I try to use a dynamic destination such as destination=lambda elem: "my_project:my_dataset." **** elem["sensor_key"], it just makes a new table for each time the triggering_frequency procs. I know it makes temporary tables before loading it all into one, but it never loads them. It just creates more and more tables.

Imported from Jira BEAM-9917. Original Jira may contain additional context. Reported by: tordaut.

Guide contributeur

Direction de recherche
Examinez comment les tables temporaires sont gérées dans BigQueryBatchFileLoads lors de l'utilisation de destinations dynamiques. Assurez vous que le triggering frequency fusionne correctement les tables temporaires dans la destination finale.
Stack technique
java
Domaine
backend
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
JavaApache BeamBigQuery
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60