Ability to define number of CPU/GPUs to be used when creating the TF Session
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 5/5
- Tempo estimado
- Mais de uma semana
- Facilidade para iniciantes
- 25/100
- Tipo de issue
- Funcionalidade
- Clareza
- Precisa de esclarecimento
- Status de atividade
- Estagnada
- Stack de tecnologia
- scala, spark, tensorflow
- Domínio
- distributed-systems, machine-learning
Direção de pesquisa
Comece localizando onde tensorframes cria a TensorFlow Session dentro dos nós executor do Spark e, em seguida, leia o tratamento dos recursos e da configuração ao redor. Defina como os chamadores especificariam as quantidades de CPU e GPU e como a conclusão deveria ser verificada sem reivindicar recursos de workloads não relacionados; o issue não nomeia arquivos nem testes, portanto o ponto de entrada relevante e a abordagem de validação devem ser estabelecidos primeiro.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
Tensorflow provides means to specify the number of CPU/GPUs to be used for each Session. Otherwise, it will try to use all CPUs available in the machine. Currently tensorframes does provide any means to specify this information and it ends up tensorflow using all the CPU cores in the executor nodes. This is more problematic when an executor has more than one cores assigned which results in more contention. An alternative would be to set only one core for each executor but this is not optimal in mix workloads where CNN inference is only a part of the workload.
- Linguagem predominante
- Scala
- Estrelas
- 743
- Forks
- 158
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Preparar o ambiente
- Inclui um Dockerfile ou arquivo Docker Compose
- Sem modelo de pull request
- Sem guia de contribuição
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de databricks/tensorframes
-
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 20/100
databricks/tensorframes#185 ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 25/100
databricks/tensorframes#181 ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 30/100
databricks/tensorframes#179 ·
-
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 15/100
databricks/tensorframes#176 · 2 comentários ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 30/100
databricks/tensorframes#165 ·
Todas as issues de databricks/tensorframes
Issues semelhantes
-
module: core
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 77/100
bigbluebutton/bigbluebutton#26028 ·
Mantenedores costumam responder em até 1 dia
-
LFSR.tapsMaxPeriod: 17 second tap sets (widths 725 to 755) are a single number larger than the widthAberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 75/100
chipsalliance/chisel#5512 ·
Mantenedores costumam responder em até 2 dias
-
Dificuldade 1/5 1-3 horas Facilidade para iniciantes 86/100
lunduniversity/introprog#995 ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 62/100
chipsalliance/rocket-chip#3838 ·
-
bug
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 75/100
Mantenedores costumam responder em até 1 dia