Hacktoberfest 2026 : les issues que les mainteneurs ont marquées pour octobre, ouvertes et accessibles aux débutants. Parcourir les issues Hacktoberfest

Need help with enabling GPUs while predicting through fine-tuned BERT Tensorflow Model on Azure Databricks

Ouverte
  • Quelque chose ne va pas ?
#181 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

Évaluation

Difficulté
4/5
Temps estimé
3-5 jours
Accessibilité débutants
25/100
Type d'issue
Bug
Clarté
À clarifier
Activité
À l'abandon
Stack technique
azure, scala, spark, tensorflow
Domaine
cloud, distributed-systems, machine-learning

Piste de recherche

Commencez par le predicting_movie_reviews_with_bert_on_tf_hub.ipynb lié et la documentation Azure Databricks TensorFlow. Reproduisez la sortie signalée de tf.__version__ et tf.test.is_gpu_available() sur le cluster Runtime 7.2 ML à quatre GPU indiqué, puis vérifiez si le travail de prédiction atteint les nœuds worker. C’est terminé lorsque la vérification de la disponibilité des GPU et l’utilisation du cluster démontrent que la prédiction utilise les GPU prévus.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

Hi,
I am referring to this code (https://github.com/google-research/bert/blob/master/predicting_movie_reviews_with_bert_on_tf_hub.ipynb for classification) and running it on Azure Databricks Runtime 7.2 ML (includes Apache Spark 3.0.0, GPU, Scala 2.12). I was able to train a model. Although for predictions, I am using a 4 GPU cluster but it is still taking very long time. I suspect that my cluster is not fully utilized and infact still being used as CPU only...Is there anything I need to change to ensure that the GPUs cluster is being utilized and able to function in distributed manner.

I also referred to Databricks documentation (https://docs.microsoft.com/en-us/azure/databricks/applications/machine-learning/train-model/tensorflow) and did install gpu enabled tensorflow mentioned as:

%pip install https://databricks-prod-cloudfront.cloud.databricks.com/artifacts/tensorflow/runtime-7.x/tensorflow-1.15.3-cp37-cp37m-linux_x86_64.whl

But even after that print([tf.version, tf.test.is_gpu_available()]) still shows FALSE as value and no improvement in my cluster utilization
Can anyone help on how can i enable full cluster utilization (to worker nodes) for my prediction through fine-tuned bert model?

I would really appreciate the help.

Langage dominant
Scala
Étoiles
743
Forks
158
Aucune PR mergée en 30 j

Préparer son environnement

  • Fournit un Dockerfile ou un fichier Docker Compose
  • Aucun modèle de pull request
  • Aucun guide de contribution

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de databricks/tensorframes

Toutes les issues de databricks/tensorframes

Issues similaires

Plus d'issues Scala

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.