[JAX] Upstream checkpointing of quantizations in TE/JAX to MaxText
维护者通常 2 天内回复
还没有人认领这个 Issue。
评估
- 难度
- 4/5
- 预计耗时
- 3-5 天
- 新手友好度
- 35/100
- Issue 类型
- 功能
- 描述清晰度
- 基本清楚
- 活跃度
- 停滞
- 技术栈
- python
调研方向
首先查看链接的 MaxText pull request #2773，以及 MaxText 中现有的 TE 量化支持。跟踪 NVFP4 和 MXFP8 量化在 forward 和 rematerialized backward passes 期间如何进行 checkpoint。完成的标准是将该支持 upstream，使这些路径避免报告中的 2x 量化。
由索引模型根据 Issue 内容生成。
描述
MaxText upstream already supports TE quantization, but for optimal performance for NVFP4 and MXFP8, quantization checkpointing support should be upstreamed to MaxText to prevent 2x quantization in fwd and rematerialized in backward,
This work was initially started here but needs continuing: https://github.com/AI-Hypercomputer/maxtext/pull/2773
- 主要语言
- Python
- 星标
- 3.6k
- 派生
- 872
- 平均合并
- 4 天 11 小时
- 30 天内合并 PR
- 59
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
NVIDIA/TransformerEngine 的其他 Issue
-
[PyTorch] fp8_cs_quantize fake implementation returns a vector inverse scale instead of a scalar可能重新可做 @sanjana658 于 17 天前认领，目前没有进行中的 PR。 未关闭
难度 2/5 1-3 小时 新手友好度 82/100
NVIDIA/TransformerEngine#3636 · 2 条评论 ·
维护者通常 2 天内回复
-
[Bug] Backend selection picks FA3 for training with head_dim_qk=192 / v_head_dim=128, but FA3 backward cannot run it可能重新可做 @modelpath-dev 于 51 天前认领，目前没有进行中的 PR。 未关闭attention
难度 2/5 1-3 小时 新手友好度 85/100
NVIDIA/TransformerEngine#3481 · 4 条评论 ·
维护者通常 2 天内回复
-
bug
难度 2/5 1-3 小时 新手友好度 68/100
NVIDIA/TransformerEngine#2189 · 7 条评论 · 5 个 reaction ·
维护者通常 2 天内回复
-
难度 5/5 一周以上 新手友好度 25/100
NVIDIA/TransformerEngine#3729 ·
维护者通常 2 天内回复
-
[Feature] Fused gated RMSNorm (RMSNorm(x) * SiLU(gate)) for GDN output norm可能已有人在做 关联的 PR 仍在进行中或已合并。 未关闭enhancement
难度 5/5 一周以上 新手友好度 35/100
NVIDIA/TransformerEngine#3724 · 1 个 reaction ·
维护者通常 2 天内回复
查看 NVIDIA/TransformerEngine 的全部 Issue
相似的 Issue
-
难度 2/5 1-3 小时 新手友好度 68/100
Arekkazu/sgpmp-backend#744 ·
维护者通常 1 天内回复
-
agent/reviewer
难度 2/5 1-3 小时 新手友好度 78/100
projectbluefin/utah-packages#634 ·
维护者通常 1 天内回复
-
enhancement good first issue help wanted
难度 2/5 1-2 天 新手友好度 78/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 68/100
home-assistant/core#188613 ·
维护者通常 1 天内回复
-
Website未关闭good first issue
难度 2/5 1-3 小时 新手友好度 91/100
TanbirRamim/open-source-radar#314 ·
维护者通常 1 天内回复