Qwen3.5 35B-A3B hybrid MoE weak and strong scaling
未关闭
@ibaucells 已经在做这个了。
开始于 2026年10月13日。
评估
这个 Issue 还没有评估数据。
描述
T4.1 - Optimization HPC
Weak and strong scaling of the hybrid MoE Qwen3.5-35B-A3B model
Scaling hyperparameters
- Fixed global batch size of max 4096
- Node count: min node count (1 node if possible as baseline else higher), 2, 4, 16, 64 higher if possible
Metrics
- Tokens/s/GPU
- TFLOPs/GPU
- MFU
Environment
- Cluster:
- Code:
- Container:
- W&B:
- Megatron LM submodule:
- 主要语言
- 没有语言数据
- 星标
- 3
- 派生
- 0
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
这个项目没有提供开发容器、Dockerfile 或贡献指南，环境需要你自己搭建：先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
OpenEuroLLM/Taskboard 的其他 Issue
-
[nucleus sparse] Experiment setup可能已有人在做 @aaronkl 于 7 天前认领。 未关闭T4.1 - Optimization HPC T4.2 - model exploration
OpenEuroLLM/Taskboard#439 · 1 个 reaction · 已指派 1 人 ·
-
Synthetic Generation for Multilingual Instruction Tuning可能已有人在做 @abhash-er 于 8 天前认领。 未关闭4.6 post-training
OpenEuroLLM/Taskboard#437 · 已指派 1 人 ·
-
Safety and alignment evaluation可能已有人在做 @BirgerMoell 于 8 天前认领。 未关闭4.6 post-training
OpenEuroLLM/Taskboard#436 · 已指派 1 人 ·
-
Finding optimal dataset mixtures for DPO可能已有人在做 @geoalgo 于 8 天前认领。 未关闭4.6 post-training
OpenEuroLLM/Taskboard#435 · 已指派 3 人 ·
-
DPO checkpoint merging可能已有人在做 @HannanJaved 于 8 天前认领。 未关闭4.6 post-training
OpenEuroLLM/Taskboard#434 · 2 条评论 · 已指派 1 人 ·