Lightning-AI/pytorch-lightning

Support uneven DDP inputs with pytorch model.join

Open

#3,325 建立於 2020年9月2日

在 GitHub 查看
 (27 留言) (13 反應) (0 負責人)Python (3,233 fork)batch import
3rd partydistributedfeaturehelp wanted

倉庫指標

Star
 (26,687 star)
PR 合併指標
 (平均合併 9天 15小時) (30 天內合併 3 個 PR)

描述

See more details: https://github.com/pytorch/pytorch/issues/38174

cc @borda @tchaton @rohitgr7 @akihironitta @awaelchli

貢獻者指南

研究方向
閱讀引用的 PyTorch 問題（https://github.com/pytorch/pytorch/issues/38174）以了解 model.join API。檢查 PyTorch Lightning 的 DDP 整合中如何處理不均勻輸入。在程式碼庫中尋找現有討論或部分實作。考慮支援不均勻輸入所需的變更（例如填充、梯度同步調整）。
技術棧
pythonpytorch
領域
machine learningdistributed systems
議題類型
功能
難度面向新貢獻者的預計實作難度，1 表示很小改動，5 表示專家級工作。
4
預計時間有經驗貢獻者完成調查、實作、測試並準備 pull request 的粗略時間範圍。
1-2 天
活動狀態議題目前的可參與程度：新鮮、活躍、陳舊、阻塞或等待維護者輸入。
活躍
清晰度議題是否清楚說明預期改動、驗收標準和下一步。
需要先調研
前置要求
PythonPyTorchDistributed training concepts
新手友善度1-100 的估計分數，表示該議題對首次貢獻者的友善程度。
25