bytedance/byteps

How did you get the horovod & bytePS performance

开放

#68 创建于 2019年7月18日

在 GitHub 查看贡献者指南
 (12 条评论) (2 个反应) (0 位负责人)Python (476 个派生)batch import
distributeddocumentationgood first issue

仓库指标

星标
 (3,483 个星标)
PR 合并指标
 (30 天内没有已合并 PR)

描述

I have the same hardware envs, same network, but I could not get the result as you, almost half as you. Any best practices and experience? thanks very much! for bytePS with 1 instance and 8 GPU, I have similar testing result.

贡献者指南

研究方向
该问题是一个关于复现BytePS性能基准测试的开放式查询。为提供帮助，首先需明确用户的确切硬件、软件版本和网络拓扑。然后，审查BytePS配置文件并与已发布的基准测试进行比较。检查常见问题，如NCCL设置、网络延迟或GPU亲和性。提供分步调优指导，并建议运行一个简单的allreduce测试以隔离瓶颈。
技术栈
python
领域
machine learning
议题类型
调研
难度面向新贡献者的预计实现难度，1 表示很小改动，5 表示专家级工作。
2
预计时间有经验贡献者完成调查、实现、测试并准备 pull request 的粗略时间范围。
1-3 小时
活动状态议题当前的可参与程度：新鲜、活跃、陈旧、阻塞或等待维护者输入。
活跃
清晰度议题是否清楚说明期望改动、验收标准和下一步。
清晰
前置要求
Distributed trainingBytePSHorovod
新手友好度1-100 的估计分数，表示该议题对首次贡献者的友好程度。
60