apache/beam

Impossible to submit Google Dataflow job from Windows machine

Open

#18.734 geöffnet am 3. Juni 2022

Auf GitHub ansehen
 (0 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Java (4.097 Forks)batch import
P4bugdataflowgood first issuerunnerswindows

Repository-Metriken

Stars
 (7.313 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 6T) (243 gemergte PRs in 30 T)

Beschreibung

Got exception when trying to submit Dataflow job from java application running on Windows machine.

java.lang.IllegalArgumentException: Location must be local or on Cloud Storage, got C:\Users\myuser\AppData\Local\Temp\dataflow-job341260414234234.json.  Here:

https://github.com/apache/beam/blob/67f6cf2c7786e339758854efb1cf1230909e4f1d/runners/google-cloud-dataflow-java/src/main/java/org/apache/beam/runners/dataflow/DataflowRunner.java#L746

following check is performed:  fileLocation.startsWith("/") || fileLocation.startsWith("gs://"),

which prohibits usage of any Windows-style file names.

Workaround is to provide explicit file location on GCS:

dataflowPipelineOptions.setDataflowJobFile("gs://mybucket/dataflowjob.pb");

 

Imported from Jira BEAM-4380. Original Jira may contain additional context. Reported by: kardashov.

Contributor Guide

Research-Richtung
Tech Stack
Domain
Issue Type
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Voraussetzungen
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.