How to run in Spark on YARN?
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Documentación
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
Línea de trabajo
Comience con el comando spark-submit indicado, su error «Missing application resource» y la configuración especificada del clúster YARN y Virtualenv. Determine el recurso de aplicación requerido y si Tensorframes y TensorFlow deben estar disponibles en los nodos de trabajo; se considera terminado cuando se hayan documentado un comando de envío a YARN que funcione y los requisitos de despliegue.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Hi, Everyone. Tensorframe is interesting to me. So I want to test Tensorframe in my Spark's cluster. But I have wonder.
- I wondering that Tensorframe just needs to install to master node and don't needs to install any worker.
- This command is okay that "pyspark --packages databricks:tensorframes:0.2.9-s_2.11"
But I want to use Spark's cluster. So, I want to use this command "spark-submit --packages databricks:tensorframes:0.2.9-s_2.11". But this command has the error like this:
Exception in thread "main" java.lang.IllegalArgumentException: Missing application resource.
at org.apache.spark.launcher.CommandBuilderUtils.checkArgument(CommandBuilderUtils.java:241)
at org.apache.spark.launcher.SparkSubmitCommandBuilder.buildSparkSubmitArgs(SparkSubmitCommandBuilder.java:160)
at org.apache.spark.launcher.SparkSubmitCommandBuilder.buildSparkSubmitCommand(SparkSubmitCommandBuilder.java:274)
at org.apache.spark.launcher.SparkSubmitCommandBuilder.buildCommand(SparkSubmitCommandBuilder.java:151)
at org.apache.spark.launcher.Main.main(Main.java:86)
Someone have this error?
- I have Spark's cluster that has 3 nodes (YARN on a Hadoop cluster, 1 master, 2 worker)
- I used Virtualenv for Tensorflow(CPU version)
- I install panda-0.20.3
I would be grateful if you could please answer my question.
- Lenguaje dominante
- Scala
- Estrellas
- 743
- Forks
- 158
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de databricks/tensorframes
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100
databricks/tensorframes#185 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
databricks/tensorframes#181 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 30/100
databricks/tensorframes#179 ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 15/100
databricks/tensorframes#176 · 2 comentarios ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 30/100
databricks/tensorframes#165 ·
Todos los issues de databricks/tensorframes
Issues similares
-
Area: Excel support
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
orbeon/orbeon-forms#7893 ·
-
ShuffleManagerRegistry.register recursion guard is inverted, permits GlutenShuffleManager subclasses Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
-
enhancement
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 70/100