Extend ArgoCD GitOps demo with DataOps

オープン
#293 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度
5/5
見積もり時間
1週間以上
初心者へのやさしさ
25/100
issue の種類
機能追加
明瞭さ
説明が足りない
活発さ
停滞
技術スタック
kubernetes, terraform

調査の方向性

まず既存の ArgoCD demo と「trino-taxi-data」demo を読み、次に demo がクラスターと sealed secrets をどのように扱っているかを確認します。demo の統合、Trino ジョブ用の Airflow DAG の追加、ソースからターゲットへのアーティファクトのデプロイ、完了したワークフローの文書化を中心に DataOps の範囲を定義します。

索引モデルが issue の本文から書いたものです。

説明

Stackable data platforms are defined declaratively, enabling automated, standardized, and efficient deployments.

This demo showcases an exemplary GitOps setup for the Stackable data platform using e.g. ArgoCD and distinct Dev/Prod stages. This approach offers consistency, version control, speed, enhanced collaboration, robust security, and observability, making it easier for teams to manage infrastructure as code and adopt Stackable.

For new, non-advanced users, this setup simplifies the learning curve, reduces manual errors, and provides a clear pathway to modern DevOps/GitOps practices.

Prerequisites

  • no Dev/Prod stages (only 1 cluster)
  • without terraform
  • including secrets via git (sealed secrets)

Tasks - DataOps

  • Integrate existing demo "trino-taxi-data" in ArgoCD demo
  • Add a new airflow DAG to submit Trino jobs (create schema, create table,...)
  • PLACEHOLDER: Show progress and refine next step
  • Deploy new artifacts via dataops from source to target
  • Documentation
主要言語
Jupyter Notebook
スター
3
フォーク
13
平均マージ
2日 20時間
マージ済み PR(30日)
2

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

stackabletech/demos のほかの issue

stackabletech/demos の issue をすべて見る

似ている issue

Data Engineering の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。