Native approx_top_k functions: audit the frequent-items sketch against Java and implement
メンテナーはふだん 2 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 12/100
- issue の種類
- 機能追加
- 明瞭さ
- おおむね明確
- 活発さ
- 活発
調査の方向性
This is an audit-first design task spanning the Rust frequencies feature of the sketch crate and Spark-side serde and expression wiring. Start by scoring the family with suggest-native-expression, then compare sketch bytes against DataSketches-Java 6.2.0 fixtures for each item type Spark accepts. Done means byte parity for every supported item type, opt-in native functions, and SQL file tests that read Spark-produced sketch columns and the reverse.
索引モデルが issue の本文から書いたものです。
説明
What is the problem the feature request solves?
Part of #7397.
Spark 4.1+ provides approx_top_k, approx_top_k_accumulate, approx_top_k_combine and approx_top_k_estimate, built on the DataSketches frequent-items sketch. None of them run natively in Comet. The crate's frequencies feature provides the sketch.
Describe the potential solution
- Score the family with
suggest-native-expressionfirst. - Audit the crate's
frequenciesfeature against DataSketches-Java 6.2.0 using committed fixtures. The item type matters here more than in the other families: Spark supports several item types, and each has its own item serialization in the sketch bytes, so check each one Spark accepts rather than only strings. Also check tie-breaking and the order of returned items, the error bounds, and how Spark derives the maximum map size from its arguments. - Implement the serde and native functions once the audit shows byte parity for every supported item type, opt-in until then. Fall back for any item type that is not covered.
- Add SQL file tests, including a Spark-produced sketch column read by Comet and the reverse.
- 主要言語
- Scala
- スター
- 1.3k
- フォーク
- 414
- 平均マージ
- 3日 5時間
- マージ済み PR（30日）
- 210
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
apache/datafusion-comet のほかの issue
-
requires-triage
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
apache/datafusion-comet#7583 ·
メンテナーはふだん 2 日以内に返信
-
bug priority:medium
難易度 2/5 1〜3時間 初心者へのやさしさ 73/100
apache/datafusion-comet#7559 · コメント 1 件 ·
メンテナーはふだん 2 日以内に返信
-
area:writer bug priority:low
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
apache/datafusion-comet#7558 ·
メンテナーはふだん 2 日以内に返信
-
enhancement
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
apache/datafusion-comet#7557 ·
メンテナーはふだん 2 日以内に返信
-
`rand` and `randn` with an integer seed fall back to Spark without a fallback reason対応中かも @galaxytemple が 3 日前に担当しました。 オープンrequires-triage
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
apache/datafusion-comet#7479 · コメント 1 件 · 担当者 1 名 ·
メンテナーはふだん 2 日以内に返信
apache/datafusion-comet の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
chipsalliance/rocket-chip#3845 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
-
難易度 1/5 1時間未満 初心者へのやさしさ 86/100
メンテナーはふだん 13 日以内に返信
-
gesticulate: the `FastInfoset` suffix is written `fast-infoset`, not the registered `fastinfoset`オープンbug
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
propensive/soundness#2437 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
ergoplatform/ergo#2918 ·
メンテナーはふだん 3 日以内に返信