Megatron cannot save checkpoint?

仓库指标

星标

23,069 个星标 (23,069 个星标)

PR 合并指标

平均合并 3天 6小时 (平均合并 3天 6小时)30 天内合并 125 个 PR (30 天内合并 125 个 PR)

描述

贡献者指南

研究方向

调查 `verl/workers/megatron workers.py` 第 428 行缺失的 `save checkpoint` 方法。检查其他 VERL worker（例如 `fsdp workers.py`）中现有的检查点实现以及 Megatron LM 的检查点工具。实现一个以兼容 `load checkpoint` 的格式保存模型和优化器状态的方法。查看该 issue 下的 4 条评论，以获取任何额外的上下文或建议的方法。

技术栈

pythonpytorch

领域

backendmachine learning

议题类型

功能

难度面向新贡献者的预计实现难度，1 表示很小改动，5 表示专家级工作。

3

预计时间有经验贡献者完成调查、实现、测试并准备 pull request 的粗略时间范围。

1-3 小时

活动状态议题当前的可参与程度：新鲜、活跃、陈旧、阻塞或等待维护者输入。

活跃

清晰度议题是否清楚说明期望改动、验收标准和下一步。

清晰

前置要求

PythonPyTorchMegatron (distributed training)

新手友好度1-100 的估计分数，表示该议题对首次贡献者的友好程度。

55