apache/beam

DataflowRunner should canonicalize gcpTempLocation/stagingLocation/etc formats.

Open

#18.199 geöffnet am 3. Juni 2022

Auf GitHub ansehen
 (0 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Java (4.097 Forks)batch import
P3dataflowgood first issuerunnerstests

Repository-Metriken

Stars
 (7.313 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 6T) (243 gemergte PRs in 30 T)

Beschreibung

Cloud Dataflow has a minor history of small bugs related to various code paths expecting there to be or not be a trailing forward-slash in these location fields. The way that Beam's integration tests are set up, we are likely to only have one of these two cases tested (there is a single set of integration test pipeline options).

We should add a dedicated DataflowRunner integration test to handle this case.

Actually, we should probably canonicalize the URLs so that we only ever produce one version.

Imported from Jira BEAM-1194. Original Jira may contain additional context. Reported by: dhalperi.

Contributor Guide

Research-Richtung
Überprüfe den DataflowRunner Code, um zu sehen, wo gcpTempLocation und stagingLocation verwendet werden, und stelle sicher, dass abschließende Schrägstriche konsistent behandelt werden. Erwäge das Hinzufügen von Integrationstests.
Tech Stack
java
Domain
backendclouddata
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Veraltet
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
JavaGit
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
55