Job with Table Trigger not allowed for tables that do not exist in Unity Catalog

Abierto
#4,437 5 comentarios 11 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
4/5
Tiempo estimado
3-5 días
Aptitud para principiantes
52/100
Tipo de issue
Nueva funcionalidad
Claridad
Bastante claro
Estado de actividad
Activo
Stack tecnológico
go
Área
cli, devops

Línea de trabajo

Reproduce el fallo con la configuración de bundle mostrada usando databricks bundle deploy e inspecciona el error de aplicación de Terraform. Traza cómo se valida el desencadenador de tabla durante el despliegue y, a continuación, verifica que una tabla de Unity Catalog ausente produce una advertencia mientras el job se sigue desplegando correctamente.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

DABs Enhancement
Describe the issue

In the current implementation, I am unable to deploy a job with a table trigger that depends on one (or more) tables that are not yet available in Unity Catalog.
This hinders CI/CD scenarios in which the table is not yet created in the upper environment as the table creation is relying on a run that is yet to happen

Configuration

A DAB with the below configuration is not deployable unless the table demo.table.trigger already exists

  jobs:
    demo_job:
      name: "Demo - ${bundle.target}"
      
      tasks:
        - task_key: demo
          notebook_task:
            notebook_path: ../notebooks/run_notebook.py
      
      trigger:
        pause_status: UNPAUSED
        table_update:
          table_names:
            - demo.table.trigger
Steps to reproduce the behavior
  1. Run databricks bundle deploy ...
  2. See error
Expected Behavior

I would expect a WARNING instead of an error.
It makes sense to warn the user that their trigger might not ever happen - but it does not make sense to not allow it to be deployed.

Actual Behavior

Below error message, stating that I can not create a trigger on a job to a table that does not exist yet

Error: terraform apply: exit status 1
Error: cannot create job: The table 'demo.table.trigger' does not exist. Please create a table in Unity Catalog and grant SELECT privilege to xxxx@xxxx.com
OS and CLI version

Databricks CLI v0.283.0 on Windows

Is this a regression?

Did this work in a previous version of the CLI? If so, which versions did you try?

Debug Logs

Output logs if you run the command with debug logs enabled. Example: databricks bundle deploy --log-level=debug. Redact if needed

Lenguaje dominante
Go
Estrellas
396
Forks
233
Merge medio
2 d 52 min
PR fusionados (30 d)
276

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de databricks/cli

Todos los issues de databricks/cli

Issues similares

Más issues de Go

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.