Evaluate 32B checkpoints on both first and conservative run
还没有人认领这个 Issue。
评估
- 难度
- 5/5
- 预计耗时
- 一周以上
- 新手友好度
- 25/100
- Issue 类型
- 功能
- 描述清晰度
- 需要澄清
- 活跃度
- 活跃
- 技术栈
- huggingface
调研方向
首先检查当前的 vLLM 工作流以及用于生成模拟 annealed checkpoints 的 Nemotron 工具，然后将评估方法与 issue 406 进行比较。完成的标准是转换 32B checkpoints、生成所请求的模拟、确认所有任务都能运行，并完成 DCLM Core 和多语言评估，同时确定 WSM annealing 的范围。
由索引模型根据 Issue 内容生成。
描述
Goal
We need to evaluate 32B checkpoints on both runs to make a data-driven comparison, currently we have just a few evaluations with not much multilingual and they do not consider annealing simulation.
- convert 32B checkpoints and push to HF @maxidl
- generate simulated annealed checkpoints with Nemotron tool @maxidl
- make sure current workflow with vLLM works on all tasks
- evaluate all checkpoints and simulated annealing for DCLM Core
- evaluate all checkpoints and simulated annealing for multilingual
For WSM, perhaps here we just consider the annealing on last 300B tokens to stay close to results reported on WSM wdyt @maxidl ? I also do not mind picking anything from cosine / sqrt / linear but I have found Merge Cos. to work best on prelude.
- 主要语言
- 没有语言数据
- 星标
- 3
- 派生
- 0
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
这个项目没有提供开发容器、Dockerfile 或贡献指南，环境需要你自己搭建：先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
OpenEuroLLM/Taskboard 的其他 Issue
-
[nucleus sparse] Experiment setup可能已有人在做 @aaronkl 于 8 天前认领。 未关闭T4.1 - Optimization HPC T4.2 - model exploration
OpenEuroLLM/Taskboard#439 · 1 个 reaction · 已指派 1 人 ·
-
Qwen3.5 35B-A3B hybrid MoE weak and strong scaling可能已有人在做 @ibaucells 于 8 天前认领。 未关闭T4.1 - Optimization HPC
OpenEuroLLM/Taskboard#438 · 2 条评论 · 已指派 1 人 ·
-
Synthetic Generation for Multilingual Instruction Tuning可能已有人在做 @abhash-er 于 9 天前认领。 未关闭4.6 post-training
OpenEuroLLM/Taskboard#437 · 已指派 1 人 ·
-
Safety and alignment evaluation可能已有人在做 @BirgerMoell 于 9 天前认领。 未关闭4.6 post-training
OpenEuroLLM/Taskboard#436 · 已指派 1 人 ·
-
Finding optimal dataset mixtures for DPO可能已有人在做 @geoalgo 于 9 天前认领。 未关闭4.6 post-training
OpenEuroLLM/Taskboard#435 · 已指派 3 人 ·
查看 OpenEuroLLM/Taskboard 的全部 Issue
相似的 Issue
-
难度 2/5 1-3 小时 新手友好度 76/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 74/100
deepspeedai/DeepSpeed#8884 ·
维护者通常 3 天内回复
-
难度 2/5 1-3 小时 新手友好度 76/100
flagos-ai/FlagQuantum#718 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 78/100
mllam/neural-lam#820 ·
维护者通常 2 天内回复
-
area: ai bug
难度 2/5 1-3 小时 新手友好度 84/100
snapotter-hq/SnapOtter#3440 ·
维护者通常 1 天内回复