Deploing synced tables from Lakeflow Pipelines
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
調査の方向性
まず、同期テーブルに対する DABs のデプロイ処理を追跡し、初回デプロイ時にソーステーブルをどのように検証しているかを確認します。最初の更新までソースが存在しないことを許可する方法と、同期テーブルを Lakeflow Declarative Pipeline アセットとして追加する方法を比較します。テーブルの更新時にメタデータ検証を維持しながら、サポート対象のデプロイパスで TABLE_DOES_NOT_EXIST を回避できれば完了です。
索引モデルが issue の本文から書いたものです。
説明
When creating a synced table using DABs, the source table needs to exist. This causes ordering problems: One will often deploy a job that creates the source table per DAB, like using a Job and/or Lakeflow Declarative Pipeline.
Then the synced table cannot be declared in the same DAB, as the initial deployment results in TABLE_DOES_NOT_EXIST. This is similar to #4437 . I suggest to allow the creation of synced tables for non-existent tables. Only validate the metadata on (first) refresh.
In my particular use-case a materialized view from a Lakeflow Declarative Pipeline needs to be synced. This would also be solved by extending pipelines by adding synced tables as a new asset. Note that this doesn't solve all use-cases.
- 主要言語
- Go
- スター
- 427
- フォーク
- 267
- 平均マージ
- 2日 1時間
- マージ済み PR（30日）
- 233
環境構築
- Dockerfile または Docker Compose ファイルあり
- プルリクエストのテンプレートあり
- コントリビューションガイドなし
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
databricks/cli のほかの issue
-
Apps commands only accept relative path to app.yml対応中かも @yuri-rod が 38 日前に担当しました。 オープンCLI
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
databricks/cli#6910 ·
メンテナーはふだん 1 日以内に返信
-
DABs
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
databricks/cli#6670 · リアクション 1 件 ·
メンテナーはふだん 1 日以内に返信
-
Bump vulnerable dependencies workflow is failing対応中かも @shreyas-goenka が今日担当しました。 オープンbump-vuln-deps-failure
databricks/cli#7531 · コメント 1 件 · 担当者 7 名 ·
メンテナーはふだん 1 日以内に返信
-
bundle run on an app fails with "not in RUNNING state" when the app's compute is UPDATING対応中かも @andrewnester が 1 日前に担当しました。 オープンBug DABs
難易度 3/5 1〜2日 初心者へのやさしさ 76/100
databricks/cli#7451 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信
-
Bundle deploy of an AI/BI dashboard breaks viewers' private bookmarks (UI save + publish does not)オープン
難易度 4/5 3〜5日 初心者へのやさしさ 45/100
databricks/cli#7419 ·
メンテナーはふだん 1 日以内に返信
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 66/100
kubernetes-sigs/aws-iam-authenticator#1125 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
prime-radiant-inc/evener#6241 ·
メンテナーはふだん 1 日以内に返信
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
snowflakedb/gosnowflake#1864 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
mandiant/VM-Packages#1667 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
coder/openstorage#807 ·
メンテナーはふだん 1 日以内に返信