Add additional Spark Properties via Configmap
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 3/5
- 見積もり時間
- 1〜2日
- 初心者へのやさしさ
- 35/100
- issue の種類
- 機能追加
- 明瞭さ
- おおむね明確
- 活発さ
- 停滞
- 技術スタック
- kubernetes, rust, spark
調査の方向性
まず、operator が spark-submit コマンドをどのように組み立て、SparkApplication の設定を処理しているかを追跡します。既存の properties-file 引数や /opt/spark/conf mount と競合しない、共有 Spark properties 用の ConfigMap ベースのパスを追加します。複数の SparkApplications が Kerberos 設定を含む同じ properties を再利用できれば完了です。
索引モデルが issue の本文から書いたものです。
説明
As a user I want to be able to pass spark properties, which might be the same over multiple sparkApplications (e.g. kerberos settings), via a configmap to the spark-submit command. Using this, I save effort and complexity repeatedly defining the same spark properties over and over when writing sparkApplications.
I tried to do some hacks to mock this behavior with mounting a spark-defaults.conf (which won't work because the spark-driver already mounts on /opt/spark/conf and thus I can't mount it there because the location is not unique) or passing a --properties-file (which also does not work because a --properties-file is already passed inherently)
- 主要言語
- Rust
- スター
- 73
- フォーク
- 5
- 平均マージ
- 11時間 13分
- マージ済み PR（30日）
- 13
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドなし
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
stackabletech/spark-k8s-operator のほかの issue
-
type/bug
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
stackabletech/spark-k8s-operator#775 ·
メンテナーはふだん 1 日以内に返信
-
Pin versions/ranges for spark-connect-client python dependencies using a constraints file対応中かも @Maleware が 7 日前に担当しました。 オープンtype/bug
stackabletech/spark-k8s-operator#786 · コメント 1 件 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信
-
Application driver Pod is not terminated when Spark is OOMKilled対応中かも @razvan が 18 日前に担当しました。 オープンtype/bug
stackabletech/spark-k8s-operator#780 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 55/100
stackabletech/spark-k8s-operator#774 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
type/bug
難易度 4/5 3〜5日 初心者へのやさしさ 45/100
stackabletech/spark-k8s-operator#770 ·
メンテナーはふだん 1 日以内に返信
stackabletech/spark-k8s-operator の issue をすべて見る
似ている issue
-
engine-rs P3 review-deferral wasm
難易度 2/5 1〜3時間 初心者へのやさしさ 77/100
maniator/verticopolis#1154 ·
メンテナーはふだん 1 日以内に返信
-
FFMPEG_BIN/FFPROBE_BIN are always overridden, so a working system ffmpeg cannot be used対応中かも @Bilker1422 が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
Stremio/stremio-service#116 · コメント 1 件 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 83/100
メンテナーはふだん 1 日以内に返信