FedML-AI/FedML

GRPC communication to slow

Open

#234 aberto em 29 de mai. de 2022

Ver no GitHub
 (1 comment) (0 reactions) (3 assignees)Python (743 forks)batch import
TODO featureshelp wanted

Métricas do repositório

Stars
 (3.930 stars)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

I'm doing SplitNN experiment today on LAN through JET TX2 development board and Ubunut 20.04 server, transferring about 100M featuremap, the transfer time is 17 seconds ...... our LAN is 1000M transfer ...... want to ask why so slow

Guia do colaborador

Direção de pesquisa
O problema relata comunicação gRPC lenta para um experimento SplitNN em LAN. Primeiro, verifique a largura de banda da rede usando iperf para garantir que a LAN de 1000M não seja o gargalo. Em seguida, inspecione a configuração do cliente/servidor gRPC no código fonte do FedML (por exemplo, opções gRPC como tamanho da mensagem, compressão e keepalive). Faça um perfil da serialização do mapa de características de 100M usando pickle ou protobuf do Python para verificar se essa é a sobrecarga. Além disso, revise quaisquer benchmarks de desempenho existentes no repositório e verifique se há problemas conhecidos com gRPC em ARM64 (JET TX2).
Pilha de tecnologia
pythongrpc
Domain
backendperformance
Tipo Issue
Performance
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PythonGRPCLinux
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
45