support human shape annotation in meta column info
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 25/100
- issue の種類
- 機能追加
- 明瞭さ
- おおむね明確
- 活発さ
- 停滞
- 技術スタック
- python, spark, tensorflow
- 領域
- data, machine-learning
調査の方向性
まず、例に示されているメタデータ用の tfs.analyze と tfs.aggregate のエントリポイントから始め、次に、グループ化された DataFrames が列の形状を TensorFlow グラフにどのように公開するかを追跡します。グループ化されたデータについて、[?,2] のように人が指定した形状を受け入れられ、互換性のない形状では引き続き有用なエラーが生成されれば完了です。
索引モデルが issue の本文から書いたものです。
説明
data = [Row(x=[float(x), float(2 * x)], key=str(x % 2)) for x in range(1, 6)]
df_analyzed = tfs.analyze(sqlContext.createDataFrame(data))
df = sqlContext.createDataFrame(data)
# this would work
grouped_df_analyzed = df_analyzed.groupby('key')
In [79]: with tf.Graph().as_default() as g:
...: x = tf.placeholder(tf.double, [None, 2], name='x_input')
...: y = tf.reduce_mean(x, 0, name='x')
...: df_1 = tfs.aggregate(y, grouped_df_analyzed)
#while this would fail..
grouped_df = df.groupby('key')
In [80]: with tf.Graph().as_default() as g:
...: x = tf.placeholder(tf.double, [None, 2], name='x_input')
...: y = tf.reduce_mean(x, 0, name='x')
...: df_1 = tfs.aggregate(y, grouped_df)
# with reason
java.lang.Exception: The data column 'x' has shape [?,?], not compatible with shape [?,2] requested by the TF graph
which would be useful if there is a function the take human input into the meta data...
- 主要言語
- Scala
- スター
- 743
- フォーク
- 158
- PR マージ指標
- 30日以内にマージされた PR はありません
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
databricks/tensorframes のほかの issue
-
難易度 5/5 1週間以上 初心者へのやさしさ 20/100
databricks/tensorframes#185 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 25/100
databricks/tensorframes#181 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 30/100
databricks/tensorframes#179 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 15/100
databricks/tensorframes#176 · コメント 2 件 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 30/100
databricks/tensorframes#165 ·
databricks/tensorframes の issue をすべて見る
似ている issue
-
ShuffleManagerRegistry.register recursion guard is inverted, permits GlutenShuffleManager subclasses オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
-
enhancement
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
-
module: unknown type: bug/reported
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
OpenXiangShan/XiangShan#6623 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
-
難易度 1/5 1時間未満 初心者へのやさしさ 70/100