Need help with enabling GPUs while predicting through fine-tuned BERT Tensorflow Model on Azure Databricks
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 25/100
- issue の種類
- バグ
- 明瞭さ
- 説明が足りない
- 活発さ
- 停滞
- 技術スタック
- azure, scala, spark, tensorflow
調査の方向性
リンク先の predicting_movie_reviews_with_bert_on_tf_hub.ipynb と Azure Databricks TensorFlow ドキュメントから始めます。指定された Runtime 7.2 ML の 4 GPU クラスターで、報告されている tf.__version__ と tf.test.is_gpu_available() の出力を再現し、その後、予測処理がワーカーノードに到達しているかを確認します。GPU の可用性チェックとクラスターの利用状況によって、予測が意図した GPU を使用していることが示されれば完了です。
索引モデルが issue の本文から書いたものです。
説明
Hi,
I am referring to this code (https://github.com/google-research/bert/blob/master/predicting_movie_reviews_with_bert_on_tf_hub.ipynb for classification) and running it on Azure Databricks Runtime 7.2 ML (includes Apache Spark 3.0.0, GPU, Scala 2.12). I was able to train a model. Although for predictions, I am using a 4 GPU cluster but it is still taking very long time. I suspect that my cluster is not fully utilized and infact still being used as CPU only...Is there anything I need to change to ensure that the GPUs cluster is being utilized and able to function in distributed manner.
I also referred to Databricks documentation (https://docs.microsoft.com/en-us/azure/databricks/applications/machine-learning/train-model/tensorflow) and did install gpu enabled tensorflow mentioned as:
But even after that print([tf.version, tf.test.is_gpu_available()]) still shows FALSE as value and no improvement in my cluster utilization
Can anyone help on how can i enable full cluster utilization (to worker nodes) for my prediction through fine-tuned bert model?
I would really appreciate the help.
- 主要言語
- Scala
- スター
- 743
- フォーク
- 158
- PR マージ指標
- 30日以内にマージされた PR はありません
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
databricks/tensorframes のほかの issue
-
難易度 5/5 1週間以上 初心者へのやさしさ 20/100
databricks/tensorframes#185 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 30/100
databricks/tensorframes#179 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 15/100
databricks/tensorframes#176 · コメント 2 件 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 30/100
databricks/tensorframes#165 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 30/100
databricks/tensorframes#164 ·
databricks/tensorframes の issue をすべて見る
似ている issue
-
Area: Excel support
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
orbeon/orbeon-forms#7893 ·
-
ShuffleManagerRegistry.register recursion guard is inverted, permits GlutenShuffleManager subclasses オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
-
enhancement
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
-
難易度 1/5 1時間未満 初心者へのやさしさ 70/100