apache/beam

Python DirectRunner _PubSubReadEvaluator creates new client per bundle

Open

#19.712 aperta il 4 giu 2022

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Java (4097 fork)batch import
P3bugcoregood first issuepython

Metriche repository

Star
 (7313 star)
Metriche merge PR
 (Merge medio 6g) (243 PR mergiate in 30 g)

Descrizione

Lots of credential fetches. Similar to https://issues.apache.org/jira/browse/BEAM-2264 but in this case the DirectRunner implementation seems to be creating a new client for each bundle: https://github.com/apache/beam/blob/d5d7a7b7d0408d8435031e7bfce1abe2227115f5/sdks/python/apache_beam/runners/direct/transform_evaluator.py#L474

From: https://stackoverflow.com/questions/57010426/dataflow-access-to-pubsub-access-tokens

Imported from Jira BEAM-7763. Original Jira may contain additional context. Reported by: udim.

Guida contributor

Direzione di ricerca
Investiga come memorizzare nella cache o riutilizzare il client PubSub nei bundle di DirectRunner PubSubReadEvaluator.
Tech stack
python
Dominio
backenddata
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
GitPython
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
75