Ability to define number of CPU/GPUs to be used when creating the TF Session
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- scala, spark, tensorflow
Línea de trabajo
Comience localizando dónde tensorframes crea la TensorFlow Session dentro de los nodos executor de Spark y, a continuación, lea el manejo de los recursos y la configuración circundantes. Defina cómo especificarían los llamadores las cantidades de CPU y GPU y cómo debería verificarse la finalización sin reclamar recursos de cargas de trabajo no relacionadas; el issue no menciona archivos ni pruebas, por lo que primero deben establecerse el punto de entrada relevante y el enfoque de validación.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Tensorflow provides means to specify the number of CPU/GPUs to be used for each Session. Otherwise, it will try to use all CPUs available in the machine. Currently tensorframes does provide any means to specify this information and it ends up tensorflow using all the CPU cores in the executor nodes. This is more problematic when an executor has more than one cores assigned which results in more contention. An alternative would be to set only one core for each executor but this is not optimal in mix workloads where CNN inference is only a part of the workload.
- Lenguaje dominante
- Scala
- Estrellas
- 743
- Forks
- 158
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de databricks/tensorframes
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100
databricks/tensorframes#185 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
databricks/tensorframes#181 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 30/100
databricks/tensorframes#179 ·
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 15/100
databricks/tensorframes#176 · 2 comentarios ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 30/100
databricks/tensorframes#165 ·
Todos los issues de databricks/tensorframes
Issues similares
-
ShuffleManagerRegistry.register recursion guard is inverted, permits GlutenShuffleManager subclasses Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
-
enhancement
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
-
module: unknown type: bug/reported
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
OpenXiangShan/XiangShan#6623 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 70/100