Post-flagship: explore the architecture that is optimal for deployment
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 20/100
- issue の種類
- 機能追加
- 明瞭さ
- 説明が足りない
- 活発さ
- 静か
調査の方向性
この issue にはファイル、テスト、エントリーポイントが記載されていません。まず不足している deliverable を定義し、列挙されている選択肢を絞り込みます。長いコンテキストへの対応、スライディングウィンドウまたはハイブリッド Attention、量子化、変換互換性、weak scaling です。完了条件には、文書化されたアーキテクチャの選択、その評価基準、および要求された weak scaling の結果を含める必要があります。
索引モデルが issue の本文から書いたものです。
説明
Goal
Raised in a model exploration meeting: what can we try to attempt to come up with the most optimal architecture. The issue is considered to be exploratory task for post-flagship.
Description
This includes
- efficient long context handling
- sliding window attention
- hybrid (eg Qwen 3.5 design, gated delta net layers)
- aim for 1M context length in final version?
- Quantization aware (easy to quantize to lower precision, eg NVFP4); easy GGUF conversion; llama.cpp compat, etc
TODO: add possible modifications list to the task - re-do weak scaling now
Deliverable scope
(What is the expected outcome for this issue to be complete)
Dependencies
(Blocking issues, PRs, or external factors)
- 主要言語
- 言語のデータがありません
- スター
- 3
- フォーク
- 0
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
OpenEuroLLM/Taskboard のほかの issue
-
[nucleus sparse] Experiment setup対応中かも @aaronkl が 7 日前に担当しました。 オープンT4.1 - Optimization HPC T4.2 - model exploration
OpenEuroLLM/Taskboard#439 · リアクション 1 件 · 担当者 1 名 ·
-
Qwen3.5 35B-A3B hybrid MoE weak and strong scaling対応中かも @ibaucells が 7 日前に担当しました。 オープンT4.1 - Optimization HPC
OpenEuroLLM/Taskboard#438 · コメント 2 件 · 担当者 1 名 ·
-
Synthetic Generation for Multilingual Instruction Tuning対応中かも @abhash-er が 8 日前に担当しました。 オープン4.6 post-training
OpenEuroLLM/Taskboard#437 · 担当者 1 名 ·
-
Safety and alignment evaluation対応中かも @BirgerMoell が 8 日前に担当しました。 オープン4.6 post-training
OpenEuroLLM/Taskboard#436 · 担当者 1 名 ·
-
Finding optimal dataset mixtures for DPO対応中かも @geoalgo が 8 日前に担当しました。 オープン4.6 post-training
OpenEuroLLM/Taskboard#435 · 担当者 3 名 ·
OpenEuroLLM/Taskboard の issue をすべて見る
似ている issue
-
documentation good first issue
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
selimfirat/pysad#379 ·
メンテナーはふだん 1 日以内に返信
-
istep not passed to `compute_loss` during validation (context-loss warmup stuck at 0)対応中かも このイシューにリンクされたプルリクエストがオープン中、またはマージ済みです。 オープン
難易度 1/5 1時間未満 初心者へのやさしさ 88/100
ecmwf/WeatherGenerator#2943 ·
メンテナーはふだん 1 日以内に返信
-
[Bug]: convert_model fails with NameError on Python 3.13 because get_environment_setup deletes an exec-imported module対応中かも @Daksha1611 が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
openvinotoolkit/openvino#39038 ·
メンテナーはふだん 2 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
Southampton-RSG-Training/ai-fundamentals-for-researchers#22 ·
-
area: ai bug
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
snapotter-hq/SnapOtter#3045 ·
メンテナーはふだん 1 日以内に返信