Ability to define number of CPU/GPUs to be used when creating the TF Session
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Anfängerfreundlichkeit
- 25/100
- Issue-Typ
- Feature
- Klarheit
- Muss geklärt werden
- Aktivitätsstatus
- Veraltet
- Tech-Stack
- scala, spark, tensorflow
- Bereich
- distributed-systems, machine-learning
Rechercherichtung
Beginnen Sie damit, zu ermitteln, wo tensorframes die TensorFlow Session innerhalb der Spark-Executor-Knoten erstellt, und lesen Sie anschließend die Behandlung der umliegenden Ressourcen und Konfiguration. Legen Sie fest, wie Aufrufer die Anzahl von CPUs und GPUs angeben würden und wie der Abschluss überprüft werden sollte, ohne Ressourcen aus nicht zusammenhängenden Workloads zu beanspruchen; das Issue nennt keine Dateien oder Tests, daher müssen der relevante Einstiegspunkt und der Validierungsansatz zunächst festgelegt werden.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
Tensorflow provides means to specify the number of CPU/GPUs to be used for each Session. Otherwise, it will try to use all CPUs available in the machine. Currently tensorframes does provide any means to specify this information and it ends up tensorflow using all the CPU cores in the executor nodes. This is more problematic when an executor has more than one cores assigned which results in more contention. An alternative would be to set only one core for each executor but this is not optimal in mix workloads where CNN inference is only a part of the workload.
- Vorherrschende Sprache
- Scala
- Sterne
- 743
- Forks
- 158
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Entwicklungsumgebung
- Enthält ein Dockerfile oder eine Docker-Compose-Datei
- Keine Pull-Request-Vorlage
- Kein Beitragsleitfaden
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus databricks/tensorframes
-
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 20/100
databricks/tensorframes#185 ·
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 25/100
databricks/tensorframes#181 ·
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 30/100
databricks/tensorframes#179 ·
-
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 15/100
databricks/tensorframes#176 · 2 Kommentare ·
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 30/100
databricks/tensorframes#165 ·
Alle Issues in databricks/tensorframes
Ähnliche Issues
-
bug documentation
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 67/100
Maintainer antworten meist innerhalb von 1 Tag
-
bug 🐞 Untriaged user issue
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100
valkey-io/valkey-glide#7306 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 2 Tagen
-
good first issue
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100
lichess-org/lila#21988 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 1 Tag