Hacktoberfest 2026 : les issues que les mainteneurs ont marquées pour octobre, ouvertes et accessibles aux débutants. Parcourir les issues Hacktoberfest

How to run in Spark on YARN?

Ouverte
  • Quelque chose ne va pas ?
#133 3 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

Évaluation

Difficulté
4/5
Temps estimé
3-5 jours
Accessibilité débutants
25/100
Type d'issue
Documentation
Clarté
À clarifier
Activité
À l'abandon
Stack technique
hadoop, python, scala, spark, tensorflow
Domaine
distributed-systems, documentation, machine-learning

Piste de recherche

Commencez par la commande spark-submit signalée, son erreur « Missing application resource » et la configuration indiquée du cluster YARN et de Virtualenv. Déterminez la ressource d’application requise et si Tensorframes et TensorFlow doivent être disponibles sur les nœuds workers ; le travail est terminé lorsqu’une commande de soumission YARN fonctionnelle et les exigences de déploiement sont documentées.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

Hi, Everyone. Tensorframe is interesting to me. So I want to test Tensorframe in my Spark's cluster. But I have wonder.

  1. I wondering that Tensorframe just needs to install to master node and don't needs to install any worker.
  2. This command is okay that "pyspark --packages databricks:tensorframes:0.2.9-s_2.11"
    But I want to use Spark's cluster. So, I want to use this command "spark-submit --packages databricks:tensorframes:0.2.9-s_2.11". But this command has the error like this:
Exception in thread "main" java.lang.IllegalArgumentException: Missing application resource.
       at org.apache.spark.launcher.CommandBuilderUtils.checkArgument(CommandBuilderUtils.java:241)
       at org.apache.spark.launcher.SparkSubmitCommandBuilder.buildSparkSubmitArgs(SparkSubmitCommandBuilder.java:160)
       at org.apache.spark.launcher.SparkSubmitCommandBuilder.buildSparkSubmitCommand(SparkSubmitCommandBuilder.java:274)
       at org.apache.spark.launcher.SparkSubmitCommandBuilder.buildCommand(SparkSubmitCommandBuilder.java:151)
       at org.apache.spark.launcher.Main.main(Main.java:86)

Someone have this error?

  • I have Spark's cluster that has 3 nodes (YARN on a Hadoop cluster, 1 master, 2 worker)
  • I used Virtualenv for Tensorflow(CPU version)
  • I install panda-0.20.3

I would be grateful if you could please answer my question.

Langage dominant
Scala
Étoiles
743
Forks
158
Aucune PR mergée en 30 j

Préparer son environnement

  • Fournit un Dockerfile ou un fichier Docker Compose
  • Aucun modèle de pull request
  • Aucun guide de contribution

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de databricks/tensorframes

Toutes les issues de databricks/tensorframes

Issues similaires

Plus d'issues Scala

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.