Hybrid Model Tests

Đánh giá

Issue này chưa được đánh giá.

Mô tả

Goal
Testing Hybrid model architectures for scaling in comparison to FullAttn

Description
Test Mamba2, GDN, SWA, mLSTM hybrids compared to FullAttn on multilingual scaling best (bs, lr) points

Deliverable scope
Provide a comparison on different scales showing if we should switch to a hybrid arch.
Preliminary data:

At the moment the speed is: SWA > mLSTM, FullAttn, > Mamba2 > GDN. In terms of GPU-hrs based best performance Mamba2 still seems to work best.

Dependencies
none

Chuẩn bị môi trường

Bắt đầu từ đâu

1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
3. Fork repository và làm thay đổi trên một nhánh.
4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của OpenEuroLLM/Taskboard

• [nucleus sparse] Experiment setup

  Có thể đã có người làm @aaronkl đã nhận 7 ngày trước. Đang mở

  ⋯Báo cáo vấn đề với issue này

  • Có gì không ổn?

  • Đã có người nhận
  • Không phù hợp cho người mới
  • Đã cũ hoặc không hợp lệ
  • Vấn đề khác…
  • Gửi Hủy
  T4.1 - Optimization HPC T4.2 - model exploration

  OpenEuroLLM/Taskboard#439 · 1 reaction · 1 người được giao · Mở ngày 13/10/2026

• Qwen3.5 35B-A3B hybrid MoE weak and strong scaling

  Có thể đã có người làm @ibaucells đã nhận 7 ngày trước. Đang mở

  ⋯Báo cáo vấn đề với issue này

  • Có gì không ổn?

  • Đã có người nhận
  • Không phù hợp cho người mới
  • Đã cũ hoặc không hợp lệ
  • Vấn đề khác…
  • Gửi Hủy
  T4.1 - Optimization HPC

  OpenEuroLLM/Taskboard#438 · 2 bình luận · 1 người được giao · Mở ngày 13/10/2026

• Synthetic Generation for Multilingual Instruction Tuning

  Có thể đã có người làm @abhash-er đã nhận 9 ngày trước. Đang mở

  ⋯Báo cáo vấn đề với issue này

  • Có gì không ổn?

  • Đã có người nhận
  • Không phù hợp cho người mới
  • Đã cũ hoặc không hợp lệ
  • Vấn đề khác…
  • Gửi Hủy
  4.6 post-training

  OpenEuroLLM/Taskboard#437 · 1 người được giao · Mở ngày 12/10/2026

• Safety and alignment evaluation

  Có thể đã có người làm @BirgerMoell đã nhận 9 ngày trước. Đang mở

  ⋯Báo cáo vấn đề với issue này

  • Có gì không ổn?

  • Đã có người nhận
  • Không phù hợp cho người mới
  • Đã cũ hoặc không hợp lệ
  • Vấn đề khác…
  • Gửi Hủy
  4.6 post-training

  OpenEuroLLM/Taskboard#436 · 1 người được giao · Mở ngày 12/10/2026

• Finding optimal dataset mixtures for DPO

  Có thể đã có người làm @geoalgo đã nhận 9 ngày trước. Đang mở

  ⋯Báo cáo vấn đề với issue này

  • Có gì không ổn?

  • Đã có người nhận
  • Không phù hợp cho người mới
  • Đã cũ hoặc không hợp lệ
  • Vấn đề khác…
  • Gửi Hủy
  4.6 post-training

  OpenEuroLLM/Taskboard#435 · 3 người được giao · Mở ngày 12/10/2026

Tất cả issue của OpenEuroLLM/Taskboard