Angel-ML/angel

[CORE] RDMA Support for Angel

Open

#225 aberto em 11 de out. de 2017

Ver no GitHub
 (0 comments) (5 reactions) (0 assignees)Java (1.630 forks)batch import
help wanted

Métricas do repositório

Stars
 (6.686 stars)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

In Angel, there's lots of model transformation, which means it will bring large amount of network transformation and costs lots of CPU time.

To improve this, we would like to introduce RDMA, which can bring better network performance and save CPU time. And with these improvement, Angel can achieve better performance and speed up model training time.

Guia do colaborador

Direção de pesquisa
Comece examinando a camada de comunicação de rede no Angel, provavelmente no módulo `angel ps core`. Pesquise bibliotecas RDMA para Java, como JVerbs ou as ligações RDMA CM. Proponha um design de alto nível para integrar o RDMA com a arquitetura existente do servidor de parâmetros, focando nos fluxos de dados de transformação do modelo. Procure por discussões existentes ou PRs parados no repositório.
Pilha de tecnologia
java
Domain
backendinfrastructureperformance
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
4
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Mais de 1 semana
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
JavaRDMANetworking
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
20