Hacktoberfest 2026:メンテナが10月に向けて印を付けた、オープンで初心者向けの issue。 Hacktoberfest の issue を見る

Store high-order tensors as 1d vectors

オープン
#47 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度
5/5
見積もり時間
1週間以上
初心者へのやさしさ
30/100
issue の種類
機能追加
明瞭さ
おおむね明確
活発さ
停滞
技術スタック
scala, spark, tensorflow

調査の方向性

まず analyze と printschema のエントリポイントを特定し、現在メタデータがネストされたテンソルとフラット化されたテンソルをどのように表現しているかを確認します。完了条件は、列挙された row-major ストレージと、それに対応する ingest/output 動作(compact_storage オプションを含む)をサポートし、printschema が 1d ストレージと高次元テンソルを区別できることです。

索引モデルが issue の本文から書いたものです。

説明

enhancement

Because catalyst is optimized for 0d and 1d tensors, all the tensors should be stored this way. Of course, users can still input some arrays of arrays at the inputs, but the outputs should be optimized for 1d arrays. It should be the recommended output for anything above 3d tensors.

This can be done only with a more flexible interpretation of the metadata.

One concern is that the data storage as seen by sql may be different from the interpretation seen by tensorframes. On the positive side, it will simplify the low-level operations.

Expected modifications:

  • default storage layout is row major (but with consideration to a potential option to column major)
  • all operations should accept at ingest imbricated arrays or flattened tensors
  • all operations should output flattened tensors for tensors >= 2 dimensions -> this is a user-facing change
  • analyze will be the conversion point between flattened and nested representations, with an extra option compact_storage. This option will either accept a single boolean (all numerical types), the letter 'R" (all columns compacted in Row order) or a list of names of columns (only these columns are compacted in Row order). A dictionary could be supported later.
  • printschema will differentiate between tensors stored in 1d and n
主要言語
Scala
スター
743
フォーク
158
PR マージ指標
30日以内にマージされた PR はありません

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

databricks/tensorframes のほかの issue

databricks/tensorframes の issue をすべて見る

似ている issue

Scala の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。