MIN/MAX don't unwrap nested encodings inside Dictionary columns
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
調査の方向性
get_min_max_result_type 関数から始めてください。ここでは RunEndEncoded の分岐がすでに値に対して再帰している一方、Dictionary の分岐は一段階しか展開していません。MIN/MAX のテストで、dictionary や run-end の列が MemTable 経由でどのように構築・問い合わせされるかを確認してください。両方のネストしたエンコーディングの列に対する max が、プレーンな UInt32 の値を UInt32 型で返し、それぞれのケースをテストでカバーできれば完了です。
索引モデルが issue の本文から書いたものです。
説明
Describe the bug
get_min_max_result_type recurses into RunEndEncoded values but unwraps Dictionary only one level. When a dictionary's values are themselves encoded, MIN/MAX don't reach the plain value type:
| Column type | max(c) |
|---|---|
Dictionary<Int32, RunEndEncoded<Int32, UInt32>> |
Internal error: Min/Max accumulator not implemented for type RunEndEncoded(...) |
Dictionary<Int32, Dictionary<Int32, UInt32>> |
correct value, typed Dictionary(Int32, UInt32) instead of UInt32 |
To Reproduce
arrow_cast can't build these types, so they only come from a TableProvider, e.g. a MemTable:
let values = RunArray::<Int32Type>::try_new(&Int32Array::from(vec![1, 2]), &UInt32Array::from(vec![1, 3]))?;
let column: ArrayRef = Arc::new(DictionaryArray::<Int32Type>::try_new(Int32Array::from(vec![0, 0, 1]), Arc::new(values))?);
// register `column` as `c` in a MemTable `t`, then:
ctx.sql("SELECT max(c) FROM t").await?.collect().await?; // internal error
Expected behavior
Both columns return max(c) = 3 as UInt32, the same as RunEndEncoded<_, Dictionary<_, UInt32>>.
Additional context
Follow-up to https://github.com/apache/datafusion/pull/26248#discussion_r4267916127. Making the Dictionary arm recurse like the RunEndEncoded arm fixes both cases:
DataType::Dictionary(_, values) => get_min_max_result_type(&[values.deref().clone()]),
Willingness to contribute
I plan to contribute a fix for this bug independently
- 主要言語
- Rust
- スター
- 9.4k
- フォーク
- 2.5k
- 平均マージ
- 4日 9時間
- マージ済み PR（30日）
- 329
環境構築
このプロジェクトの開発コンテナを、あなたの GitHub アカウントでブラウザ上に起動します。
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
apache/datafusion のほかの issue
-
bug help wanted unparser
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
apache/datafusion#26316 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
Deduplicate bucket computation in width_bucket_interval_mdn_exact対応中かも @nightcityblade が今日担当しました。 オープンenhancement good first issue help wanted spark tech debt
難易度 2/5 1〜3時間 初心者へのやさしさ 85/100
apache/datafusion#26307 · コメント 3 件 ·
メンテナーはふだん 1 日以内に返信
-
Use the shared aggr_test_schema in CSV scan tests instead of a local copy対応中かも @med9110 が今日担当しました。 オープンcore enhancement good first issue help wanted tech debt
難易度 2/5 1〜3時間 初心者へのやさしさ 85/100
apache/datafusion#26306 · コメント 2 件 ·
メンテナーはふだん 1 日以内に返信
-
gcd benchmarks pass number_rows: 0 for 100k-row inputs対応中かも @med9110 が今日担当しました。 オープンbug functions good first issue help wanted tech debt
難易度 1/5 1時間未満 初心者へのやさしさ 92/100
apache/datafusion#26297 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
Struct union type coercion takes field nullability from the wrong field when field order differs対応中かも @med9110 が今日担当しました。 オープンbug help wanted logical-expr tech debt
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
apache/datafusion#26296 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
apache/datafusion の issue をすべて見る
似ている issue
-
agent:triaged bug bughunt pm:bundler priority:p1
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
SocketDev/socket-patch#1573 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
bytecodealliance/rustix#1706 · コメント 1 件 ·
メンテナーはふだん 11 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
wormhole-foundation/wormhole#5062 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
メンテナーはふだん 1 日以内に返信