Experimental catalyst conversions for low-dimension tensors
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 20/100
- issue の種類
- 機能追加
- 明瞭さ
- 説明が足りない
- 活発さ
- 停滞
- 技術スタック
- scala, spark
調査の方向性
まず、Catalyst の論理プランと Spark の Tungsten 表現が、スカラー、ベクトル、高階テンソルの列をどのように扱うかを調査します。現在の共分散行列の計算を、提案されているバッファーのコピーおよび flattening アプローチと比較し、4 つの基本型で生成コードを共有する方法を明らかにします。実験的な変換パス、高階テンソル用の fallback、ベンチマーク結果が得られれば完了です。
索引モデルが issue の本文から書いたものです。
説明
Directly integrate with the logical plan of Catalyst when working on small dimensions.
For columns containing scalars or vectors, perform an unsafe memory copy to a buffer instead of using scala collections, and provide a fallback for higher-order tensors. It is recommended to flatten the operations for higher order tensors because the Tungsten representation is not very efficient from a memory perspective.
Implementation for the 4 basic types will duplicate some code, so investigate a templating library or scala macros to generate the code for each type?
The benchmark for this task will be the computation of the covariance matrix of a dataset (hopefully, it can get faster than the current computation in Spark).
- 主要言語
- Scala
- スター
- 743
- フォーク
- 158
- PR マージ指標
- 30日以内にマージされた PR はありません
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
databricks/tensorframes のほかの issue
-
難易度 5/5 1週間以上 初心者へのやさしさ 20/100
databricks/tensorframes#185 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 25/100
databricks/tensorframes#181 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 30/100
databricks/tensorframes#179 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 15/100
databricks/tensorframes#176 · コメント 2 件 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 30/100
databricks/tensorframes#165 ·
databricks/tensorframes の issue をすべて見る
似ている issue
-
ShuffleManagerRegistry.register recursion guard is inverted, permits GlutenShuffleManager subclasses オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
-
enhancement
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
-
module: unknown type: bug/reported
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
OpenXiangShan/XiangShan#6623 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
-
難易度 1/5 1時間未満 初心者へのやさしさ 70/100