Ability to define number of CPU/GPUs to be used when creating the TF Session

オープン

#136 2017年11月10日に作成コメント 0 件リアクション 0 件担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度: 5/5
見積もり時間: 1週間以上
初心者へのやさしさ: 25/100

issue の種類: 機能追加
明瞭さ: 説明が足りない
活発さ: 停滞
技術スタック: scala, spark, tensorflow
領域: distributed-systems, machine-learning

調査の方向性

まず、tensorframes が Spark の executor ノード内で TensorFlow Session を作成している箇所を特定し、その周辺のリソースおよび設定の処理を確認します。呼び出し元が CPU 数と GPU 数をどのように指定するか、また無関係な workload のリソースを占有せずに完了をどのように検証するかを定義します。issue にはファイル名やテストが記載されていないため、まず関連するエントリーポイントと検証方法を確立する必要があります。

索引モデルが issue の本文から書いたものです。

説明

Tensorflow provides means to specify the number of CPU/GPUs to be used for each Session. Otherwise, it will try to use all CPUs available in the machine. Currently tensorframes does provide any means to specify this information and it ends up tensorflow using all the CPU cores in the executor nodes. This is more problematic when an executor has more than one cores assigned which results in more contention. An alternative would be to set only one core for each executor but this is not optimal in mix workloads where CNN inference is only a part of the workload.

主要言語: Scala
スター: 743
フォーク: 158
PR マージ指標: 30日以内にマージされた PR はありません

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

はじめの一歩

issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
リポジトリをフォークし、ブランチを切って変更します。
issue 番号を参照したプルリクエストを送ります。

databricks/tensorframes のほかの issue

Support with deep learning model plugging オープン

難易度 5/5 1週間以上初心者へのやさしさ 20/100

databricks/tensorframes#185 · 2022年1月4日に作成
Need help with enabling GPUs while predicting through fine-tuned BERT Tensorflow Model on Azure Databricks オープン

難易度 4/5 3〜5日初心者へのやさしさ 25/100

databricks/tensorframes#181 · 2020年10月7日に作成
Having java.lang.NoSuchMethodError: org.tensorflow.framework.GraphDef.toByteString() オープン

難易度 4/5 3〜5日初心者へのやさしさ 30/100

databricks/tensorframes#179 · 2020年5月15日に作成
Could not initialize class org.tensorframes.impl.SupportedOperations オープン

難易度 5/5 1週間以上初心者へのやさしさ 15/100

databricks/tensorframes#176 · コメント 2 件 · 2019年11月28日に作成
Databricks Connect PyCharm NoClassDefFoundError オープン

難易度 4/5 3〜5日初心者へのやさしさ 30/100

databricks/tensorframes#165 · 2019年4月24日に作成

databricks/tensorframes の issue をすべて見る

似ている issue

ShuffleManagerRegistry.register recursion guard is inverted, permits GlutenShuffleManager subclasses オープン

難易度 2/5 1〜3時間初心者へのやさしさ 78/100

apache/gluten#13099 · 2026年9月22日に作成
Add information on file pattern used when raw file source can't find input files オープン

enhancement

難易度 2/5 1〜3時間初心者へのやさしさ 65/100

AbsaOSS/pramen#798 · 2026年9月22日に作成
[BUG] kunminghu-v3 M-mode SRET to HS does not clear sstatus.SDT オープン

module: unknown type: bug/reported

難易度 2/5 1〜3時間初心者へのやさしさ 78/100

OpenXiangShan/XiangShan#6623 · 2026年9月22日に作成
BusIf lib: newRegAt attaches wrong address when the first register is not at 0x00 オープン

難易度 2/5 1〜3時間初心者へのやさしさ 78/100

SpinalHDL/SpinalHDL#1968 · コメント 2 件 · 2026年9月22日に作成
Update changelog for 2.1.25 (release is ongoing ...) オープン

難易度 1/5 1時間未満初心者へのやさしさ 70/100

coursier/coursier#3868 · コメント 1 件 · 2026年9月21日に作成

Scala の issue をもっと見る