Spark 4.0.0-preview1 findings
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 20/100
- issue の種類
- ドキュメント
- 明瞭さ
- 説明が足りない
- 活発さ
- 停滞
調査の方向性
この issue は、アクティブなタスクではなく参照用の記録です。今後試みる場合は、まず記載されている kuttl/harness の統合失敗から着手し、Iceberg Spark 4.0 artifact が利用可能かどうかを確認してください。完了とするには、Spark 4.0.0-preview1 を release に含める前に、報告されている依存関係および統合テストの失敗を解決する必要があります。
索引モデルが issue の本文から書いたものです。
説明
I tried to include the spark 4.0.0-preview1 image into 24.7.
While the build worked fine using these settings:
{
"product": "4.0.0-preview1",
"java-base": "17",
"java-devel": "17",
"python": "3.11",
"hadoop_long_version": "3.4.0", # https://github.com/apache/spark/blob/7a7a8bc4bab591ac8b98b2630b38c57adf619b82/pom.xml#L125
# NOTE: The "aws_java_sdk_bundle" jar now is only called bundle-x.x.x instead of aws-java-sdk-bundle-x.x.x and was renamed before uploading to nexus
"aws_java_sdk_bundle": "2.23.19", # https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-aws/3.4.0
"azure_storage": "7.0.1", # https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-azure/3.4.0
"azure_keyvault_core": "1.0.0", # https://mvnrepository.com/artifact/com.microsoft.azure/azure-storage/7.0.1
"jackson_dataformat_xml": "2.17.1", # https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.13/4.0.0-preview1
"stax2_api": "4.2.2", # https://mvnrepository.com/artifact/com.fasterxml.jackson.dataformat/jackson-dataformat-xml/2.17.1
"woodstox_core": "6.6.2", # https://mvnrepository.com/artifact/com.fasterxml.jackson.dataformat/jackson-dataformat-xml/2.17.1
"vector": "0.39.0",
"jmx_exporter": "1.0.1",
"tini": "0.19.0",
},
I got some integration test failures and we decided to not include it in the 24.7 release.
--- FAIL: kuttl/harness/iceberg_openshift-false_spark-4.0.0-preview1 (305.58s) -> iceberg jar missing (not released yet?)
--- FAIL: kuttl/harness/logging_openshift-false_spark-4.0.0-preview1_ny-tlc-report-0.2.0 (894.33s)
--- FAIL: kuttl/harness/spark-history-server_openshift-false_spark-4.0.0-preview1_s3-use-tls-true (1029.86s)
--- FAIL: kuttl/harness/spark-ny-public-s3_openshift-false_spark-4.0.0-preview1_s3-use-tls-true (60.13s)
--- FAIL: kuttl/harness/spark-ny-public-s3_openshift-false_spark-4.0.0-preview1_s3-use-tls-false (59.66s)
Iceberg was e.g related when looking for an iceberg jar that simply does not exist yet.
:: org.apache.iceberg#iceberg-spark-runtime-4.0_2.12;1.4.0: not found
This is just for future reference and nothing to act on for now.
- 主要言語
- Dockerfile
- スター
- 22
- フォーク
- 6
- 平均マージ
- 1日 20時間
- マージ済み PR（30日）
- 32
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドなし
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
stackabletech/docker-images のほかの issue
-
scheduled-for/26.11.0
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
stackabletech/docker-images#1657 ·
メンテナーはふだん 1 日以内に返信
-
scheduled-for/26.11.0
難易度 4/5 3〜5日 初心者へのやさしさ 48/100
stackabletech/docker-images#1655 ·
メンテナーはふだん 1 日以内に返信
-
scheduled-for/26.11.0
難易度 4/5 3〜5日 初心者へのやさしさ 52/100
stackabletech/docker-images#1652 ·
メンテナーはふだん 1 日以内に返信
-
chore(nifi): Update major/minor versions for 26.11.0対応中かも @NickLarsenNZ が 9 日前に担当しました。 オープンscheduled-for/26.11.0
難易度 4/5 3〜5日 初心者へのやさしさ 45/100
stackabletech/docker-images#1651 · コメント 2 件 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信
-
scheduled-for/26.11.0
難易度 4/5 3〜5日 初心者へのやさしさ 45/100
stackabletech/docker-images#1649 ·
メンテナーはふだん 1 日以内に返信
stackabletech/docker-images の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
conda-forge/conda-build-feedstock#289 · コメント 1 件 · リアクション 1 件 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
-
Node.js 25 EOLオープン
難易度 1/5 1時間未満 初心者へのやさしさ 88/100
nix-community/noogle#1709 ·
-
🐞 bug
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
Sitecore/content-sdk#641 ·
メンテナーはふだん 2 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
navikt/nav-dekoratoren-moduler#236 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信