FedML-AI/FedML

GRPC communication to slow

Open

#234 aperta il 29 mag 2022

Vedi su GitHub
 (1 commento) (0 reazioni) (3 assegnatari)Python (743 fork)batch import
TODO featureshelp wanted

Metriche repository

Star
 (3930 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

I'm doing SplitNN experiment today on LAN through JET TX2 development board and Ubunut 20.04 server, transferring about 100M featuremap, the transfer time is 17 seconds ...... our LAN is 1000M transfer ...... want to ask why so slow

Guida contributor

Direzione di ricerca
Il problema segnala una comunicazione gRPC lenta per un esperimento SplitNN su LAN. Innanzitutto, verifica la larghezza di banda della rete utilizzando iperf per assicurarsi che la LAN da 1000M non sia il collo di bottiglia. Quindi, ispeziona la configurazione client/server gRPC nel codice sorgente di FedML (ad esempio, opzioni gRPC come dimensione del messaggio, compressione e keepalive). Profila la serializzazione della mappa delle caratteristiche da 100M utilizzando pickle o protobuf di Python per verificare se è quello il sovraccarico. Inoltre, rivedi eventuali benchmark di prestazioni esistenti nel repository e controlla se ci sono problemi noti con gRPC su ARM64 (JET TX2).
Tech stack
pythongrpc
Dominio
backendperformance
Tipo issue
Performance
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonGRPCLinux
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
45