Ability to define number of CPU/GPUs to be used when creating the TF Session
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 25/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Da chiarire
- Stato di attività
- Ferma
- Stack tecnologico
- scala, spark, tensorflow
- Ambito
- distributed-systems, machine-learning
Direzione di ricerca
Iniziate individuando dove tensorframes crea la TensorFlow Session all’interno dei nodi executor di Spark, quindi esaminate la gestione delle risorse e della configurazione circostanti. Definite come i chiamanti dovrebbero specificare il numero di CPU e GPU e come dovrebbe essere verificato il completamento senza rivendicare risorse appartenenti a workload non correlati; l’issue non indica file o test, quindi è prima necessario stabilire il punto di ingresso rilevante e l’approccio di validazione.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Tensorflow provides means to specify the number of CPU/GPUs to be used for each Session. Otherwise, it will try to use all CPUs available in the machine. Currently tensorframes does provide any means to specify this information and it ends up tensorflow using all the CPU cores in the executor nodes. This is more problematic when an executor has more than one cores assigned which results in more contention. An alternative would be to set only one core for each executor but this is not optimal in mix workloads where CNN inference is only a part of the workload.
- Lingua principale
- Scala
- Stelle
- 743
- Fork
- 158
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di databricks/tensorframes
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 20/100
databricks/tensorframes#185 ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100
databricks/tensorframes#181 ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 30/100
databricks/tensorframes#179 ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 15/100
databricks/tensorframes#176 · 2 commenti ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 30/100
databricks/tensorframes#165 ·
Tutte le issue di databricks/tensorframes
Issue simili
-
ShuffleManagerRegistry.register recursion guard is inverted, permits GlutenShuffleManager subclasses Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
-
enhancement
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
-
module: unknown type: bug/reported
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
OpenXiangShan/XiangShan#6623 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 70/100