Post-flagship: explore the architecture that is optimal for deployment
还没有人认领这个 Issue。
评估
- 难度
- 5/5
- 预计耗时
- 一周以上
- 新手友好度
- 20/100
- Issue 类型
- 功能
- 描述清晰度
- 需要澄清
- 活跃度
- 冷清
调研方向
该 issue 未指定任何文件、测试或入口点。首先定义缺失的交付物，并缩小所列选项的范围：长上下文处理、滑动窗口或混合注意力、量化、转换兼容性以及弱扩展。完成标准应包括一项有文档记录的架构选择、其评估标准，以及所要求的弱扩展结果。
由索引模型根据 Issue 内容生成。
描述
Goal
Raised in a model exploration meeting: what can we try to attempt to come up with the most optimal architecture. The issue is considered to be exploratory task for post-flagship.
Description
This includes
- efficient long context handling
- sliding window attention
- hybrid (eg Qwen 3.5 design, gated delta net layers)
- aim for 1M context length in final version?
- Quantization aware (easy to quantize to lower precision, eg NVFP4); easy GGUF conversion; llama.cpp compat, etc
TODO: add possible modifications list to the task - re-do weak scaling now
Deliverable scope
(What is the expected outcome for this issue to be complete)
Dependencies
(Blocking issues, PRs, or external factors)
- 主要语言
- 没有语言数据
- 星标
- 3
- 派生
- 0
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
这个项目没有提供开发容器、Dockerfile 或贡献指南，环境需要你自己搭建：先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
OpenEuroLLM/Taskboard 的其他 Issue
-
[nucleus sparse] Experiment setup可能已有人在做 @aaronkl 于 7 天前认领。 未关闭T4.1 - Optimization HPC T4.2 - model exploration
OpenEuroLLM/Taskboard#439 · 1 个 reaction · 已指派 1 人 ·
-
Qwen3.5 35B-A3B hybrid MoE weak and strong scaling可能已有人在做 @ibaucells 于 7 天前认领。 未关闭T4.1 - Optimization HPC
OpenEuroLLM/Taskboard#438 · 2 条评论 · 已指派 1 人 ·
-
Synthetic Generation for Multilingual Instruction Tuning可能已有人在做 @abhash-er 于 8 天前认领。 未关闭4.6 post-training
OpenEuroLLM/Taskboard#437 · 已指派 1 人 ·
-
Safety and alignment evaluation可能已有人在做 @BirgerMoell 于 8 天前认领。 未关闭4.6 post-training
OpenEuroLLM/Taskboard#436 · 已指派 1 人 ·
-
Finding optimal dataset mixtures for DPO可能已有人在做 @geoalgo 于 8 天前认领。 未关闭4.6 post-training
OpenEuroLLM/Taskboard#435 · 已指派 3 人 ·
查看 OpenEuroLLM/Taskboard 的全部 Issue
相似的 Issue
-
documentation good first issue
难度 2/5 1-3 小时 新手友好度 82/100
selimfirat/pysad#379 ·
维护者通常 1 天内回复
-
bug mlx
难度 2/5 1-3 小时 新手友好度 72/100
维护者通常 1 天内回复
-
enhancement help wanted
难度 2/5 1-3 小时 新手友好度 70/100
smart-on-fhir/cumulus-library#684 · 2 条评论 ·
维护者通常 1 天内回复
-
istep not passed to `compute_loss` during validation (context-loss warmup stuck at 0)可能已有人在做 关联的 PR 仍在进行中或已合并。 未关闭
难度 1/5 1 小时以内 新手友好度 88/100
ecmwf/WeatherGenerator#2943 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 72/100
pymc-labs/pymc-marketing#3219 ·
维护者通常 1 天内回复