[Doc] CAST has no explicit TimeType branch (Spark 4.1)
メンテナーはふだん 2 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 2/5
- 見積もり時間
- 1〜3時間
- 初心者へのやさしさ
- 72/100
- issue の種類
- ドキュメント
- 明瞭さ
- おおむね明確
- 活発さ
- 静か
- 技術スタック
- scala
調査の方向性
CometCast.scala から始め、参照されている Spark 4.1.1 のソースにある Cast.scala と cast の処理を比較します。未サポートの理由が自動生成される互換性ガイドにどのように反映されるかを追跡し、そのうえで、TimeType を含む cast が未サポートであることをガイドが明示的に報告することを、native cast の動作を変更せずに確認します。
索引モデルが issue の本文から書いたものです。
説明
Describe the bug
Spark 4.1 introduced TimeType (HH:mm:ss). Spark 4.1's Cast.scala adds many TimeType arms (StringType <-> TimeType, TimeType <-> TimeType, TimeType -> IntegralType / DecimalType, etc.). CometCast.isSupported has no TimeType arm at all, so every TimeType-involving cast falls into the default case _ => unsupported(fromType, toType) and falls back to Spark.
The fallback is correct, but it is implicit, and getUnsupportedReasons() on CometCast does not enumerate TimeType as one of the unsupported branches, so the auto-generated compatibility guide doesn't mention it.
Surfaced by the cast audit (collection PR queue).
Expected behavior
Either:
- Add an explicit
TimeTypearm toCometCast.isSupportedthat returnsUnsupported(Some("Cast to/from TimeType is not yet supported")), OR - Implement native
TimeTypecast (depends onTimeTypebeing supported broadly across Comet, tracked by the broader date/time epic #4418).
The minimum here is the explicit Unsupported arm so the compatibility guide reflects it.
Additional context
- Spark reference:
Cast.scalain/tmp/spark-v4.1.1/sql/catalyst/src/main/scala/org/apache/spark/sql/catalyst/expressions/. - Comet matrix:
CometCast.scala. - Related: #4418 (EPIC for date/time expressions on Spark 4.x).
- 主要言語
- Scala
- スター
- 1.3k
- フォーク
- 391
- 平均マージ
- 2日 20時間
- マージ済み PR（30日）
- 437
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
apache/datafusion-comet のほかの issue
-
enhancement
難易度 1/5 1〜3時間 初心者へのやさしさ 83/100
apache/datafusion-comet#7101 ·
メンテナーはふだん 2 日以内に返信
-
Native hashing of NullType and ANSI interval values fails with "Unsupported data type in hasher"対応中かも @ump45nose が 4 日前に担当しました。 オープンarea:expressions area:shuffle bug priority:high
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
apache/datafusion-comet#7063 ·
メンテナーはふだん 2 日以内に返信
-
requires-triage
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
apache/datafusion-comet#7001 ·
メンテナーはふだん 2 日以内に返信
-
Deduplicate spark_ceil and spark_floor and port floor's decimal boundary tests to ceil対応中かも @med9110 が 6 日前に担当しました。 オープンarea:expressions enhancement help wanted requires-triage rust tech debt
難易度 2/5 半日 初心者へのやさしさ 68/100
apache/datafusion-comet#6974 · コメント 1 件 ·
メンテナーはふだん 2 日以内に返信
-
Iceberg data tables whose names end with a metadata-table name fall back to Spark再び着手できるかも @aryan9948 が 14 日前に担当しましたが、オープン中のプルリクエストはありません。 オープンrequires-triage
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
apache/datafusion-comet#6719 · コメント 1 件 ·
メンテナーはふだん 2 日以内に返信
apache/datafusion-comet の issue をすべて見る
似ている issue
-
難易度 1/5 1〜3時間 初心者へのやさしさ 91/100
com-vitthalmirji/toon4s#117 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
zio/zio-blocks#1780 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
digital-asset/participant-query-store#168 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
propensive/soundness#2294 ·
メンテナーはふだん 1 日以内に返信