Make sure that our models are usefule for practical use (architecture decisions with inference in mind)
@zeppelinche-cmd 已经在做这个了。
开始于 2026年7月24日。
评估
这个 Issue 还没有评估数据。
描述
Goal
We want to have a model released that is practically usable.
This means that inference should be reasonably efficient.
Description
With all full attention, our models will be slow and memory heavy. Olmo 3 e.g. used sliding window attention at 3/4 of the layers. We should investigate if the optimal scaling law points show different behavior when switching to such a setting. If nothing changes, potentially, we can switch to such a hybrid for larger scale runs.
Deliverable scope
- run trainings on some scales (of our optimal scaling law points) with sliding window attention on
- test if sliding window attention can be "post-trained" into a existing model (probably not)
Dependencies
none
- 主要语言
- 没有语言数据
- 星标
- 3
- 派生
- 0
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
这个项目没有提供开发容器、Dockerfile 或贡献指南，环境需要你自己搭建：先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
OpenEuroLLM/Taskboard 的其他 Issue
-
[nucleus sparse] Experiment setup可能已有人在做 @aaronkl 于 10 天前认领。 未关闭T4.1 - Optimization HPC T4.2 - model exploration
OpenEuroLLM/Taskboard#439 · 1 条评论 · 1 个 reaction · 已指派 1 人 ·
-
Qwen3.5 35B-A3B hybrid MoE weak and strong scaling可能已有人在做 @ibaucells 于 10 天前认领。 未关闭T4.1 - Optimization HPC
OpenEuroLLM/Taskboard#438 · 2 条评论 · 已指派 1 人 ·
-
Synthetic Generation for Multilingual Instruction Tuning可能已有人在做 @abhash-er 于 11 天前认领。 未关闭4.6 post-training
OpenEuroLLM/Taskboard#437 · 已指派 1 人 ·
-
Safety and alignment evaluation可能已有人在做 @BirgerMoell 于 11 天前认领。 未关闭4.6 post-training
OpenEuroLLM/Taskboard#436 · 已指派 1 人 ·
-
Finding optimal dataset mixtures for DPO可能已有人在做 @geoalgo 于 11 天前认领。 未关闭4.6 post-training
OpenEuroLLM/Taskboard#435 · 已指派 3 人 ·