Couldn't run the example
还没有人认领这个 Issue。
评估
- 难度
- 4/5
- 预计耗时
- 3-5 天
- 新手友好度
- 25/100
- Issue 类型
- 缺陷
- 描述清晰度
- 需要澄清
- 活跃度
- 停滞
- 领域
- data, machine-learning
调研方向
先从链接的 Python 示例和 tensorframes/core.py 中展示的 map_blocks 入口点开始,然后在 Spark 1.6 和 TensorFlow r0.12 下复现,同时检查 libcudart.so.7.5 的原生库错误。完成的标准是示例能够在仅 CPU 的系统上运行,或者示例和设置文档明确说明所需的 GPU 和原生依赖项。
由索引模型根据 Issue 内容生成。
描述
Hi All,
I am trying to use TensorFrames. While I am running the python example, I am facing the error like below.
Traceback (most recent call last):
File "/home_bunch/jeahn/projects/spark-examples/test_tensorframes.py", line 18, in <module>
df2 = tfs.map_blocks(z, df)
File "/home/jeahn/.ivy2/jars/databricks_tensorframes-0.2.3-s_2.10.jar/tensorframes/core.py", line 217, in map_blocks
File "/cm/shared/apps/spark/spark-1.6.1-bin-without-hadoop/python/lib/py4j-0.9-src.zip/py4j/java_gateway.py", line 813, in __call__
File "/cm/shared/apps/spark/spark-1.6.1-bin-without-hadoop/python/lib/pyspark.zip/pyspark/sql/utils.py", line 45, in deco
File "/cm/shared/apps/spark/spark-1.6.1-bin-without-hadoop/python/lib/py4j-0.9-src.zip/py4j/protocol.py", line 308, in get_return_value
py4j.protocol.Py4JJavaError: An error occurred while calling o77.buildDF.
: java.lang.UnsatisfiedLinkError: no jnitensorflow in java.library.path
at java.lang.ClassLoader.loadLibrary(Unknown Source)
at java.lang.Runtime.loadLibrary0(Unknown Source)
at java.lang.System.loadLibrary(Unknown Source)
at org.bytedeco.javacpp.Loader.loadLibrary(Loader.java:654)
at org.bytedeco.javacpp.Loader.load(Loader.java:492)
at org.bytedeco.javacpp.Loader.load(Loader.java:409)
at org.bytedeco.javacpp.tensorflow.<clinit>(tensorflow.java:10)
at org.tensorframes.impl.TensorFlowOps$._init$lzycompute(TensorFlowOps.scala:21)
at org.tensorframes.impl.TensorFlowOps$._init(TensorFlowOps.scala:19)
at org.tensorframes.impl.TensorFlowOps$.initTensorFlow(TensorFlowOps.scala:27)
at org.tensorframes.impl.TensorFlowOps$.analyzeGraph(TensorFlowOps.scala:85)
at org.tensorframes.impl.DebugRowOps.mapBlocks(DebugRowOps.scala:307)
at org.tensorframes.impl.DebugRowOps.mapBlocks(DebugRowOps.scala:290)
at org.tensorframes.impl.PythonOpBuilder.buildDF(PythonInterface.scala:126)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
at java.lang.reflect.Method.invoke(Unknown Source)
at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:231)
at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:381)
at py4j.Gateway.invoke(Gateway.java:259)
at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:133)
at py4j.commands.CallCommand.execute(CallCommand.java:79)
at py4j.GatewayConnection.run(GatewayConnection.java:209)
at java.lang.Thread.run(Unknown Source)
Caused by: java.lang.UnsatisfiedLinkError: /tmp/javacpp3334753250106708/libjnitensorflow.so: libcudart.so.7.5: cannot open shared object file: No such file or directory
at java.lang.ClassLoader$NativeLibrary.load(Native Method)
at java.lang.ClassLoader.loadLibrary0(Unknown Source)
at java.lang.ClassLoader.loadLibrary(Unknown Source)
at java.lang.Runtime.load0(Unknown Source)
at java.lang.System.load(Unknown Source)
at org.bytedeco.javacpp.Loader.loadLibrary(Loader.java:637)
... 21 more
It seems like that the TensorFlow built in the system should have GPU-enabled version. I am wondering the python example assumes that GPU-enabled TensorFlow or not. Actually, my system does not have any GPU.
If not, does anyone experience the same issue? I am currently using Spark 1.6 and Tensorflow r0.12.
Thanks,
Jeongseob
- 主要语言
- Scala
- 星标
- 743
- 派生
- 158
- PR 合并指标
- 30 天内没有已合并 PR
贡献指南
这个仓库没有索引到贡献指南
从这里开始
- 先读完整个 Issue,再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库,在一个分支上完成修改。
- 提交 Pull Request,并在描述里引用这个 Issue 编号。
databricks/tensorframes 的其他 Issue
-
难度 5/5 一周以上 新手友好度 20/100
databricks/tensorframes#185 ·
-
难度 4/5 3-5 天 新手友好度 25/100
databricks/tensorframes#181 ·
-
难度 4/5 3-5 天 新手友好度 30/100
databricks/tensorframes#179 ·
-
难度 5/5 一周以上 新手友好度 15/100
databricks/tensorframes#176 · 2 条评论 ·
-
难度 4/5 3-5 天 新手友好度 30/100
databricks/tensorframes#165 ·
查看 databricks/tensorframes 的全部 Issue
相似的 Issue
-
Area: Excel support
难度 2/5 1-3 小时 新手友好度 75/100
orbeon/orbeon-forms#7893 ·
-
难度 2/5 1-3 小时 新手友好度 70/100
chipsalliance/rocket-chip#3833 ·
-
ShuffleManagerRegistry.register recursion guard is inverted, permits GlutenShuffleManager subclasses 未关闭
难度 2/5 1-3 小时 新手友好度 78/100
-
enhancement
难度 2/5 1-3 小时 新手友好度 65/100
-
难度 2/5 1-3 小时 新手友好度 78/100