Angel-ML/angel

[CORE] RDMA Support for Angel

Open

#225 aperta il 11 ott 2017

Vedi su GitHub
 (0 commenti) (5 reazioni) (0 assegnatari)Java (1630 fork)batch import
help wanted

Metriche repository

Star
 (6686 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

In Angel, there's lots of model transformation, which means it will bring large amount of network transformation and costs lots of CPU time.

To improve this, we would like to introduce RDMA, which can bring better network performance and save CPU time. And with these improvement, Angel can achieve better performance and speed up model training time.

Guida contributor

Direzione di ricerca
Inizia esaminando il livello di comunicazione di rete in Angel, probabilmente nel modulo `angel ps core`. Ricerca librerie RDMA per Java, come JVerbs o i binding RDMA CM. Proponi un design di alto livello per integrare RDMA con l'architettura esistente del parameter server, concentrandoti sui flussi di dati di trasformazione del modello. Cerca eventuali discussioni esistenti o PR bloccate nel repository.
Tech stack
java
Dominio
backendinfrastructureperformance
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
4
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Oltre 1 settimana
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
JavaRDMANetworking
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
20