Having java.lang.NoSuchMethodError: org.tensorflow.framework.GraphDef.toByteString()
还没有人认领这个 Issue。
评估
- 难度
- 4/5
- 预计耗时
- 3-5 天
- 新手友好度
- 30/100
- Issue 类型
- 缺陷
- 描述清晰度
- 基本清楚
- 活跃度
- 停滞
- 技术栈
- scala, tensorflow
调研方向
从 org.tensorframes.impl.TensorFlowOps.scala 的 graphSerial（第 69 行）开始，比较列出的 TensorFlow、TensorFrames、Spark Deep Learning、Spark 2.4.5 和 Scala 2.11.12 依赖项。复现 DeepImageFeaturizer pipeline 的 fit，并追踪哪个依赖项提供 GraphDef.toByteString()。完成的标准是 pipeline 在不出现此 NoSuchMethodError 的情况下运行。
由索引模型根据 Issue 内容生成。
描述
Hi
I want to use DeepImageFeaturizer combined with spark ML Logistic regression in Spark (2.4.5) / scala 2.11.12 but it's not working. I'm trying to resolve it for many days.
I have this issue :
java.lang.NoSuchMethodError: org.tensorflow.framework.GraphDef.toByteString()Lorg/tensorframes/protobuf3shade/ByteString;
It seems a library is missing but i think I've already referenced all the needed ones :
delta-core_2.11-0.6.0.jar
libtensorflow-1.15.0.jar
libtensorflow_jni-1.15.0.jar
libtensorflow_jni_gpu-1.15.0.jar
proto-1.15.0.jar
scala-logging-api_2.11-2.1.2.jar
scala-logging-slf4j_2.11-2.1.2.jar
scala-logging_2.11-3.9.2.jar
spark-deep-learning-1.5.0-spark2.4-s_2.11.jar
spark-sql-kafka-0-10_2.11-2.4.5.jar
spark-tensorflow-connector_2.11-1.6.0.jar
tensorflow-1.15.0.jar
tensorflow-hadoop-1.15.0.jar
tensorframes-0.8.2-s_2.11.jar
Full trace :
20/05/15 21:17:28 DEBUG impl.TensorFlowOps$: Outputs: Set(InceptionV3_sparkdl_output__)
Exception in thread "main" java.lang.reflect.InvocationTargetException
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.spark.deploy.worker.DriverWrapper$.main(DriverWrapper.scala:65)
at org.apache.spark.deploy.worker.DriverWrapper.main(DriverWrapper.scala)
Caused by: java.lang.NoSuchMethodError: org.tensorflow.framework.GraphDef.toByteString()Lorg/tensorframes/protobuf3shade/ByteString;
at org.tensorframes.impl.TensorFlowOps$.graphSerial(TensorFlowOps.scala:69)
at org.tensorframes.impl.TensorFlowOps$.analyzeGraphTF(TensorFlowOps.scala:114)
at org.tensorframes.impl.DebugRowOps.mapRows(DebugRowOps.scala:408)
at com.databricks.sparkdl.DeepImageFeaturizer.transform(DeepImageFeaturizer.scala:135)
at org.apache.spark.ml.Pipeline$$anonfun$fit$2.apply(Pipeline.scala:161)
at org.apache.spark.ml.Pipeline$$anonfun$fit$2.apply(Pipeline.scala:149)
at scala.collection.Iterator$class.foreach(Iterator.scala:891)
at scala.collection.AbstractIterator.foreach(Iterator.scala:1334)
at scala.collection.IterableViewLike$Transformed$class.foreach(IterableViewLike.scala:44)
at scala.collection.SeqViewLike$AbstractTransformed.foreach(SeqViewLike.scala:37)
at org.apache.spark.ml.Pipeline.fit(Pipeline.scala:149)
Can someone of the team can tell me what is going wrong ?
thanks for your support
- 主要语言
- Scala
- 星标
- 743
- 派生
- 158
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
我们还没有检查这个项目的环境配置文件。先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
databricks/tensorframes 的其他 Issue
-
难度 5/5 一周以上 新手友好度 20/100
databricks/tensorframes#185 ·
-
难度 4/5 3-5 天 新手友好度 25/100
databricks/tensorframes#181 ·
-
难度 5/5 一周以上 新手友好度 15/100
databricks/tensorframes#176 · 2 条评论 ·
-
难度 4/5 3-5 天 新手友好度 30/100
databricks/tensorframes#165 ·
-
难度 2/5 1-3 小时 新手友好度 30/100
databricks/tensorframes#164 ·
查看 databricks/tensorframes 的全部 Issue
相似的 Issue
-
arrays_zip with two same-named inputs fails with "ArrowArray struct has 2 children (expected 1)"未关闭bug requires-triage
难度 2/5 1-3 小时 新手友好度 78/100
apache/datafusion-comet#6251 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 68/100
lichess-org/lila#21826 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 62/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 85/100
diffplug/spotless#3099 · 1 个 reaction ·
维护者通常 1 天内回复
-
x:action/improve x:size/tiny x:type/content
难度 1/5 1-3 小时 新手友好度 88/100
维护者通常 1 天内回复