support human shape annotation in meta column info
还没有人认领这个 Issue。
评估
- 难度
- 5/5
- 预计耗时
- 一周以上
- 新手友好度
- 25/100
- Issue 类型
- 功能
- 描述清晰度
- 基本清楚
- 活跃度
- 停滞
- 技术栈
- python, spark, tensorflow
- 领域
- data, machine-learning
调研方向
先从示例中展示的 tfs.analyze 元数据入口点和 tfs.aggregate 入口点开始,然后跟踪分组后的 DataFrames 如何向 TensorFlow 图公开列形状。完成的标准是:分组数据可以接受诸如 [?,2] 这样由人提供的形状,同时不兼容的形状仍会产生有用的错误。
由索引模型根据 Issue 内容生成。
描述
data = [Row(x=[float(x), float(2 * x)], key=str(x % 2)) for x in range(1, 6)]
df_analyzed = tfs.analyze(sqlContext.createDataFrame(data))
df = sqlContext.createDataFrame(data)
# this would work
grouped_df_analyzed = df_analyzed.groupby('key')
In [79]: with tf.Graph().as_default() as g:
...: x = tf.placeholder(tf.double, [None, 2], name='x_input')
...: y = tf.reduce_mean(x, 0, name='x')
...: df_1 = tfs.aggregate(y, grouped_df_analyzed)
#while this would fail..
grouped_df = df.groupby('key')
In [80]: with tf.Graph().as_default() as g:
...: x = tf.placeholder(tf.double, [None, 2], name='x_input')
...: y = tf.reduce_mean(x, 0, name='x')
...: df_1 = tfs.aggregate(y, grouped_df)
# with reason
java.lang.Exception: The data column 'x' has shape [?,?], not compatible with shape [?,2] requested by the TF graph
which would be useful if there is a function the take human input into the meta data...
- 主要语言
- Scala
- 星标
- 743
- 派生
- 158
- PR 合并指标
- 30 天内没有已合并 PR
贡献指南
这个仓库没有索引到贡献指南
从这里开始
- 先读完整个 Issue,再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库,在一个分支上完成修改。
- 提交 Pull Request,并在描述里引用这个 Issue 编号。
databricks/tensorframes 的其他 Issue
-
难度 5/5 一周以上 新手友好度 20/100
databricks/tensorframes#185 ·
-
难度 4/5 3-5 天 新手友好度 25/100
databricks/tensorframes#181 ·
-
难度 4/5 3-5 天 新手友好度 30/100
databricks/tensorframes#179 ·
-
难度 5/5 一周以上 新手友好度 15/100
databricks/tensorframes#176 · 2 条评论 ·
-
难度 4/5 3-5 天 新手友好度 30/100
databricks/tensorframes#165 ·
查看 databricks/tensorframes 的全部 Issue
相似的 Issue
-
Area: Excel support
难度 2/5 1-3 小时 新手友好度 75/100
orbeon/orbeon-forms#7893 ·
-
难度 2/5 1-3 小时 新手友好度 70/100
chipsalliance/rocket-chip#3833 ·
-
ShuffleManagerRegistry.register recursion guard is inverted, permits GlutenShuffleManager subclasses 未关闭
难度 2/5 1-3 小时 新手友好度 78/100
-
enhancement
难度 2/5 1-3 小时 新手友好度 65/100
-
难度 2/5 1-3 小时 新手友好度 78/100