Deploing synced tables from Lakeflow Pipelines
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 45/100
Direzione di ricerca
Inizia tracciando la gestione del deployment di DABs per le tabelle sincronizzate e il modo in cui valida la tabella sorgente durante il deployment iniziale. Confronta la possibilità di consentire l'assenza della sorgente fino al primo aggiornamento con l'aggiunta delle tabelle sincronizzate come asset di Lakeflow Declarative Pipeline. Il lavoro è completato quando un percorso di deployment supportato evita TABLE_DOES_NOT_EXIST preservando al contempo la validazione dei metadati quando la tabella viene aggiornata.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
When creating a synced table using DABs, the source table needs to exist. This causes ordering problems: One will often deploy a job that creates the source table per DAB, like using a Job and/or Lakeflow Declarative Pipeline.
Then the synced table cannot be declared in the same DAB, as the initial deployment results in TABLE_DOES_NOT_EXIST. This is similar to #4437 . I suggest to allow the creation of synced tables for non-existent tables. Only validate the metadata on (first) refresh.
In my particular use-case a materialized view from a Lakeflow Declarative Pipeline needs to be synced. This would also be solved by extending pipelines by adding synced tables as a new asset. Note that this doesn't solve all use-cases.
- Lingua principale
- Go
- Stelle
- 427
- Fork
- 267
- Merge medio
- 2g 1h
- PR unite (30g)
- 233
Preparare l'ambiente
- Include un Dockerfile o un file Docker Compose
- Ha un modello di pull request
- Nessuna guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di databricks/cli
-
Apps commands only accept relative path to app.ymlForse già presa @yuri-rod l’ha presa 38 giorni fa. ApertaCLI
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
databricks/cli#6910 ·
I maintainer di solito rispondono entro 1 giorno
-
DABs
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
databricks/cli#6670 · 1 reazione ·
I maintainer di solito rispondono entro 1 giorno
-
Bump vulnerable dependencies workflow is failingForse già presa @shreyas-goenka l’ha presa oggi. Apertabump-vuln-deps-failure
databricks/cli#7531 · 1 commento · 7 assegnatari ·
I maintainer di solito rispondono entro 1 giorno
-
bundle run on an app fails with "not in RUNNING state" when the app's compute is UPDATINGForse già presa @andrewnester l’ha presa 1 giorno fa. ApertaBug DABs
Difficoltà 3/5 1-2 giorni Idoneità per principianti 76/100
databricks/cli#7451 · 1 assegnatario ·
I maintainer di solito rispondono entro 1 giorno
-
Bundle deploy of an AI/BI dashboard breaks viewers' private bookmarks (UI save + publish does not)Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100
databricks/cli#7419 ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di databricks/cli
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 66/100
kubernetes-sigs/aws-iam-authenticator#1125 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
prime-radiant-inc/evener#6241 ·
I maintainer di solito rispondono entro 1 giorno
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
snowflakedb/gosnowflake#1864 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
mandiant/VM-Packages#1667 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
coder/openstorage#807 ·
I maintainer di solito rispondono entro 1 giorno