Feature Request / Proposal: "E12B" (Effective 12B) Model Class for Gemma 5 (Optimized for 12GB VRAM / Desktop Users)
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 25/100
- issue の種類
- 機能追加
- 明瞭さ
- 説明が足りない
- 活発さ
- 活発
- 技術スタック
- cpp
調査の方向性
Issue にはファイル、テスト、エントリーポイントが記載されていません。コントリビューターが具体的な変更や明確な完了確認を特定できるようにするには、まずメンテナーがアーキテクチャと実装範囲を定義する必要があります。
索引モデルが issue の本文から書いたものです。
説明
Hi Gemma Team,
First off, thank you for the incredible work on the Gemma 4 series! The E2B and E4B models have been game-changers for light/mobile workloads.
However, there is a massive gap in the desktop consumer landscape: the 12GB VRAM bracket (e.g., RTX 4070 / 3060 12GB users), which represents a huge portion of local LLM enthusiasts and independent developers.
While standard 12B Dense models run well, they often trade off reasoning capability compared to 27B–35B models. On the other hand, running 27B+ models locally requires offloading or heavy quantization that severely degrades speed.
Proposal for Gemma 5:
Introducing an E12B (Effective 12B) architecture (e.g., a sparse/MoE or active-parameter architecture that yields 27B–35B intelligence while maintaining a 12B active VRAM/RAM footprint).
This would hit the absolute "sweet spot" for desktop hardware, allowing high-speed, high-context generation without forcing users into massive VRAM upgrades during current hardware/RAM market constraints.
Bringing the "Effective" architecture scaling up to the 12B class in Gemma 5 would empower millions of local deployment users.
Thanks for considering this feedback!
- 主要言語
- C++
- スター
- 7k
- フォーク
- 660
- 平均マージ
- 1日 3時間
- マージ済み PR（30日）
- 35
コントリビューションガイド
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
google/gemma.cpp のほかの issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
-
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
-
難易度 4/5 3〜5日 初心者へのやさしさ 68/100
-
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
-
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
google/gemma.cpp の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
flutter-webrtc/flutter-webrtc#2206 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
google-ai-edge/LiteRT-LM#3739 ·
-
Component: GLib
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
brave/brave-browser#59300 ·
-
Mute ydb/tests/functional/dstool/test_canonical_requests.py.Test.test_group_take_snapshot in main オープンai_reviewed
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
ydb-platform/ydb#53974 · コメント 3 件 ·