FedML-AI/FedML

GRPC communication to slow

Open

#234 ouverte le 29 mai 2022

Voir sur GitHub
 (1 commentaire) (0 réactions) (3 assignés)Python (743 forks)batch import
TODO featureshelp wanted

Métriques du dépôt

Stars
 (3 930 stars)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

I'm doing SplitNN experiment today on LAN through JET TX2 development board and Ubunut 20.04 server, transferring about 100M featuremap, the transfer time is 17 seconds ...... our LAN is 1000M transfer ...... want to ask why so slow

Guide contributeur

Direction de recherche
Le problème signale une communication gRPC lente pour une expérience SplitNN sur LAN. Tout d'abord, vérifiez la bande passante du réseau à l'aide d'iperf pour vous assurer que le LAN 1000M n'est pas le goulot d'étranglement. Ensuite, inspectez la configuration client/serveur gRPC dans le code source de FedML (par exemple, les options gRPC comme la taille des messages, la compression et le keepalive). Profilez la sérialisation de la carte de caractéristiques de 100M en utilisant pickle ou protobuf de Python pour vérifier si c'est la surcharge. De plus, examinez les benchmarks de performances existants dans le dépôt et vérifiez s'il existe des problèmes connus avec gRPC sur ARM64 (JET TX2).
Stack technique
pythongrpc
Domaine
backendperformance
Type d'issue
Performance
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PythonGRPCLinux
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
45