bundle validate does not catch missing trigger.table_update.condition with multiple tables
I maintainer di solito rispondono entro 1 giorno
Valutazione
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Idoneità per principianti
- 72/100
Direzione di ricerca
Start at the bundle validation path for job trigger configuration and inspect how table_update.table_names and condition are validated; the issue does not name specific files or tests. Reproduce with the YAML configuration in the issue, then run the relevant bundle validation tests. Done when validation reports that multiple table names require ANY_UPDATED or ALL_UPDATED, while a single table remains valid without a condition.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Describe the issue
databricks bundle validate accepts a job whose trigger.table_update lists more than one table but sets no condition. The Jobs API then rejects that job during databricks bundle deploy, after the files have already been uploaded:
Endpoint: POST https://<workspace>/api/2.2/jobs/create
HTTP Status: 400 Bad Request
API error_code: INVALID_PARAMETER_VALUE
API message: Invalid condition: it must be one of ANY_UPDATED, ALL_UPDATED when more than one table is defined
Error: cannot create resources.jobs.my_job.permissions: dependency failed: resources.jobs.my_job
condition is optional when there is one table and required when there are two or more. validate should report that, since it can be checked without calling the API.
Configuration
resources:
jobs:
my_job:
name: my_job
trigger:
pause_status: UNPAUSED
table_update:
# condition: ANY_UPDATED <- deploy only succeeds with this line
table_names:
- main.default.table_a
- main.default.table_b
wait_after_last_change_seconds: 60
tasks:
- task_key: t
notebook_task:
notebook_path: /Workspace/Shared/some_notebook
Steps to reproduce the behavior
- Add the job above to a bundle.
- Run
databricks bundle validate. It reportsValidation OK!. - Run
databricks bundle deploy. Job creation fails with the 400 above.
Expected Behavior
databricks bundle validate fails (or at least warns) that trigger.table_update.condition must be ANY_UPDATED or ALL_UPDATED when table_names has more than one entry.
Actual Behavior
Validation passes, and the problem only shows up during deploy, as an API error after files are uploaded.
OS and CLI version
- Databricks CLI v1.20.0
- Linux (WSL2)
- Azure Databricks workspace
Is this a regression?
Not known.
- Lingua principale
- Go
- Stelle
- 409
- Fork
- 253
- Merge medio
- 1g 11h
- PR unite (30g)
- 212
Preparare l'ambiente
- Include un Dockerfile o un file Docker Compose
- Ha un modello di pull request
- Nessuna guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di databricks/cli
-
Apps commands only accept relative path to app.ymlForse già presa @yuri-rod l’ha presa 16 giorni fa. ApertaCLI
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
databricks/cli#6910 ·
I maintainer di solito rispondono entro 1 giorno
-
DABs
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
databricks/cli#6670 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100
databricks/cli#7100 ·
I maintainer di solito rispondono entro 1 giorno
-
DABs Enhancement
Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100
databricks/cli#7099 ·
I maintainer di solito rispondono entro 1 giorno
-
DABs
Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100
databricks/cli#7032 ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di databricks/cli
Issue simili
-
cleanup hacktoberfest priority: low skill: good first issue testing
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
hyperledger-labs/fabric-smart-client#2197 ·
I maintainer di solito rispondono entro 1 giorno
-
NTR: [tRNA kinase activity]ApertaNew term request
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
geneontology/go-ontology#32791 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 69/100
aws/amazon-ecs-agent#5177 ·
I maintainer di solito rispondono entro 2 giorni
-
release-followup
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
I maintainer di solito rispondono entro 1 giorno
-
kind/bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
I maintainer di solito rispondono entro 1 giorno