Using Delta Live Tables Sink as a Custom Materialization in dbt
メンテナーはふだん 6 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 25/100
- issue の種類
- 機能追加
- 明瞭さ
- 説明が足りない
- 活発さ
- 停滞
- 技術スタック
- kafka, python
調査の方向性
この Issue では DLT Sinks API と writeStream パスが挙げられていますが、リポジトリのファイル、テスト、エントリポイントは示されていません。まずアダプターのマテリアライゼーションとストリーミングテーブルのサポートを特定し、その後、Kafka または Event Hubs の sink に期待される動作と、完了を示すテストを定義してください。
索引モデルが issue の本文から書いたものです。
説明
Describe the feature
We are using Databricks and would like to implement all data transformations—both streaming and batch—entirely within dbt. Currently, dbt supports Streaming Tables in Databricks, which internally create Delta Live Tables (DLT). Additionally, as per Databricks documentation, it is possible to write stream output to a Kafka topic using writeStream in a Delta Live Tables pipeline.
Describe alternatives you've considered
Additional context
The outlined approach includes:
- Setting up Kafka configurations (broker URL, topic, security settings)
- Creating a DLT pipeline
- Defining a streaming source (files, Delta tables, etc.)
- Using writeStream with Kafka options to publish the data
The introduction of the new Sinks API in DLT addresses the need to write processed data to external event streams, such as Apache Kafka and Azure Event Hubs, as well as writing to a Delta Table. These features are currently in Public Preview, with plans for further expansion.
Who will this benefit?
This feature will benefit users who are looking to integrate their data pipelines entirely within dbt and require seamless publishing of streaming data to external platforms such as Kafka and Azure Event Hubs. Specific use cases include real-time data processing and integration with external event streaming platforms for further analytics and monitoring.
Are you interested in contributing this feature?
--
- 主要言語
- Python
- スター
- 391
- フォーク
- 231
- 平均マージ
- 9日 7時間
- マージ済み PR（30日）
- 29
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
databricks/dbt-databricks のほかの issue
-
persist_docs.columns triggers a full-plan probe query on views even when the model has no column docs対応中かも @DelorneN007 が 59 日前に担当しました。 オープンbug
難易度 2/5 1〜3時間 初心者へのやさしさ 85/100
databricks/dbt-databricks#1680 · コメント 1 件 ·
メンテナーはふだん 6 日以内に返信
-
bug
難易度 2/5 半日 初心者へのやさしさ 68/100
databricks/dbt-databricks#1003 · コメント 1 件 ·
メンテナーはふだん 6 日以内に返信
-
Emit COMMENT and DEFAULT for function arguments and descriptions in CREATE FUNCTION対応中かも @alvinism が 7 日前に担当しました。 オープンenhancement
難易度 4/5 3〜5日 初心者へのやさしさ 25/100
databricks/dbt-databricks#1764 ·
メンテナーはふだん 6 日以内に返信
-
bug
難易度 4/5 3〜5日 初心者へのやさしさ 46/100
databricks/dbt-databricks#1762 ·
メンテナーはふだん 6 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 45/100
databricks/dbt-databricks#1761 ·
メンテナーはふだん 6 日以内に返信
databricks/dbt-databricks の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 67/100
FinanceFlash/unvibecode#699 ·
メンテナーはふだん 1 日以内に返信
-
enhancement Website
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
OWASP/OWASP-Hunting#96 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
micropython/micropython#19942 ·
メンテナーはふだん 1 日以内に返信
-
A rebuild posts "not part of this build" success to the commit's failed `nix-build` gate and effects対応中かも @Padraic-O-Mhuiris が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
メンテナーはふだん 1 日以内に返信
-
`epoch.Integer` raises a raw OverflowError for integers too large to convert to a float対応中かも @arindam77 が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
pydantic/pydantic-extra-types#479 ·
メンテナーはふだん 1 日以内に返信