FedML-AI/FedML

GRPC communication to slow

Open

#234 geöffnet am 29. Mai 2022

Auf GitHub ansehen
 (1 Kommentar) (0 Reaktionen) (3 zugewiesene Personen)Python (743 Forks)batch import
TODO featureshelp wanted

Repository-Metriken

Stars
 (3.930 Stars)
PR-Merge-Metriken
 (Keine gemergten PRs in 30 T)

Beschreibung

I'm doing SplitNN experiment today on LAN through JET TX2 development board and Ubunut 20.04 server, transferring about 100M featuremap, the transfer time is 17 seconds ...... our LAN is 1000M transfer ...... want to ask why so slow

Contributor Guide

Research-Richtung
Das Problem meldet eine langsame gRPC Kommunikation für ein SplitNN Experiment im LAN. Überprüfen Sie zunächst die Netzwerkbandbreite mit iperf, um sicherzustellen, dass das 1000M LAN nicht der Engpass ist. Untersuchen Sie dann die gRPC Client/Server Konfiguration im FedML Quellcode (z. B. gRPC Optionen wie Nachrichtengröße, Komprimierung und Keepalive). Profilieren Sie die Serialisierung der 100M Featuremap mit Pythons pickle oder protobuf, um zu prüfen, ob dies der Overhead ist. Überprüfen Sie außerdem vorhandene Leistungsbenchmarks im Repository und prüfen Sie, ob bekannte Probleme mit gRPC auf ARM64 (JET TX2) bestehen.
Tech Stack
pythongrpc
Domain
backendperformance
Issue Type
Performance
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PythonGRPCLinux
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
45