bytedance/byteps

How did you get the horovod & bytePS performance

Offen

#68 geöffnet am 18.07.2019

Auf GitHub ansehenContributor Guide
 (12 Kommentare) (2 Reaktionen) (0 zugewiesene Personen)Python (476 Forks)batch import
distributeddocumentationgood first issue

Repository-Metriken

Stars
 (3.483 Sterne)
PR-Merge-Metriken
 (Keine gemergten PRs in 30 T)

Beschreibung

I have the same hardware envs, same network, but I could not get the result as you, almost half as you. Any best practices and experience? thanks very much! for bytePS with 1 instance and 8 GPU, I have similar testing result.

Contributor Guide

Research-Richtung
Das Problem ist eine offene Anfrage zur Reproduktion von BytePS Leistungsbenchmarks. Um zu helfen, klären Sie zunächst die genaue Hardware, Softwareversionen und Netzwerktopologie des Benutzers. Überprüfen Sie dann die BytePS Konfigurationsdateien und vergleichen Sie sie mit veröffentlichten Benchmarks. Prüfen Sie auf häufige Fallstricke wie NCCL Einstellungen, Netzwerklatenz oder GPU Affinität. Geben Sie schrittweise Anleitungen zur Optimierung und empfehlen Sie die Ausführung eines einfachen Allreduce Tests, um den Engpass zu isolieren.
Tech Stack
python
Domain
machine learning
Issue Type
Recherche
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
Distributed trainingBytePSHorovod
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
60