Hybrid Model Tests

评估

这个 Issue 还没有评估数据。

描述

Goal
Testing Hybrid model architectures for scaling in comparison to FullAttn

Description
Test Mamba2, GDN, SWA, mLSTM hybrids compared to FullAttn on multilingual scaling best (bs, lr) points

Deliverable scope
Provide a comparison on different scales showing if we should switch to a hybrid arch.
Preliminary data:

At the moment the speed is: SWA > mLSTM, FullAttn, > Mamba2 > GDN. In terms of GPU-hrs based best performance Mamba2 still seems to work best.

Dependencies
none

环境准备

从这里开始

1. 先读完整个 Issue，再读项目的贡献指南。
2. 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
3. Fork 仓库，在一个分支上完成修改。
4. 提交 Pull Request，并在描述里引用这个 Issue 编号。

OpenEuroLLM/Taskboard 的其他 Issue

• [nucleus sparse] Experiment setup

  可能已有人在做 @aaronkl 于 9 天前认领。 未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消
  T4.1 - Optimization HPC T4.2 - model exploration

  OpenEuroLLM/Taskboard#439 · 1 条评论 · 1 个 reaction · 已指派 1 人 · 2026年10月13日 创建

• Qwen3.5 35B-A3B hybrid MoE weak and strong scaling

  可能已有人在做 @ibaucells 于 10 天前认领。 未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消
  T4.1 - Optimization HPC

  OpenEuroLLM/Taskboard#438 · 2 条评论 · 已指派 1 人 · 2026年10月13日 创建

• Synthetic Generation for Multilingual Instruction Tuning

  可能已有人在做 @abhash-er 于 11 天前认领。 未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消
  4.6 post-training

  OpenEuroLLM/Taskboard#437 · 已指派 1 人 · 2026年10月12日 创建

• Safety and alignment evaluation

  可能已有人在做 @BirgerMoell 于 11 天前认领。 未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消
  4.6 post-training

  OpenEuroLLM/Taskboard#436 · 已指派 1 人 · 2026年10月12日 创建

• Finding optimal dataset mixtures for DPO

  可能已有人在做 @geoalgo 于 11 天前认领。 未关闭

  ⋯反馈这个 Issue 的问题

  • 哪里不对？

  • 已被占
  • 不适合新手
  • 已失效
  • 其他…
  • 发送 取消
  4.6 post-training

  OpenEuroLLM/Taskboard#435 · 已指派 3 人 · 2026年10月12日 创建

查看 OpenEuroLLM/Taskboard 的全部 Issue