Job with Table Trigger not allowed for tables that do not exist in Unity Catalog
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 52/100
Direzione di ricerca
Riproduci il fallimento con la configurazione del bundle mostrata usando databricks bundle deploy e analizza l’errore di apply di Terraform. Traccia il modo in cui il trigger della tabella viene convalidato durante il deployment, quindi verifica che una tabella Unity Catalog mancante produca un avviso mentre il job viene comunque distribuito correttamente.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Describe the issue
In the current implementation, I am unable to deploy a job with a table trigger that depends on one (or more) tables that are not yet available in Unity Catalog.
This hinders CI/CD scenarios in which the table is not yet created in the upper environment as the table creation is relying on a run that is yet to happen
Configuration
A DAB with the below configuration is not deployable unless the table demo.table.trigger already exists
jobs:
demo_job:
name: "Demo - ${bundle.target}"
tasks:
- task_key: demo
notebook_task:
notebook_path: ../notebooks/run_notebook.py
trigger:
pause_status: UNPAUSED
table_update:
table_names:
- demo.table.trigger
Steps to reproduce the behavior
- Run
databricks bundle deploy ... - See error
Expected Behavior
I would expect a WARNING instead of an error.
It makes sense to warn the user that their trigger might not ever happen - but it does not make sense to not allow it to be deployed.
Actual Behavior
Below error message, stating that I can not create a trigger on a job to a table that does not exist yet
Error: terraform apply: exit status 1
Error: cannot create job: The table 'demo.table.trigger' does not exist. Please create a table in Unity Catalog and grant SELECT privilege to [email protected]
OS and CLI version
Databricks CLI v0.283.0 on Windows
Is this a regression?
Did this work in a previous version of the CLI? If so, which versions did you try?
Debug Logs
Output logs if you run the command with debug logs enabled. Example: databricks bundle deploy --log-level=debug. Redact if needed
- Lingua principale
- Go
- Stelle
- 403
- Fork
- 244
- Merge medio
- 1g 13h
- PR unite (30g)
- 263
Preparare l'ambiente
- Include un Dockerfile o un file Docker Compose
- Ha un modello di pull request
- Nessuna guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di databricks/cli
-
CLI
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
databricks/cli#6910 ·
I maintainer di solito rispondono entro 1 giorno
-
DABs
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
databricks/cli#6670 ·
I maintainer di solito rispondono entro 1 giorno
-
DABs PyDABs
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
databricks/cli#3926 · 4 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
DABs
Difficoltà 3/5 1-2 giorni Idoneità per principianti 68/100
databricks/cli#6901 ·
I maintainer di solito rispondono entro 1 giorno
-
Feature request: allow bundle init --config-file to read from Unity Catalog VolumesForse già presa @leprpht l’ha presa 6 giorni fa. Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 68/100
databricks/cli#6786 ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di databricks/cli
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 86/100
modelcontextprotocol/go-sdk#1340 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
MHSanaei/3x-ui#6731 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
seccomp: goToNative values for loong64 and mipsle have no matching nativeToSeccomp keyForse già presa @ricardobranco777 l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
I maintainer di solito rispondono entro 1 giorno
-
native-convergence self-host
Difficoltà 2/5 1-3 ore Idoneità per principianti 86/100
JakeChampion/lang#11408 ·
I maintainer di solito rispondono entro 1 giorno
-
bug
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 92/100
open-telemetry/opentelemetry-go-compile-instrumentation#1445 ·
I maintainer di solito rispondono entro 2 giorni