Carry per-group slot mappings into multi-KV forwards
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 48/100
- issue の種類
- バグ
- 明瞭さ
- おおむね明確
- 活発さ
- 活発
- 技術スタック
- cpp
調査の方向性
共有の Multi-KV forward フローから開始し、StepInputs::slot_mapping を CommonAttentionMetadata と MultiKvCacheIndex を通して追跡する。forward 用の runner 所有のマッピングがどこに存在するか、また登録された DeepSeek V4 パスがそれらをどのように消費するかを特定する。各 KV グループが実際のマッピングを受け取り、そのパスを通じて非恒等マッピングが mutation によって証明されれば完了とする。
索引モデルが issue の本文から書いたものです。
説明
Row: MODEL-MM-deepseek-v4-deepseek-v4-for-causal-lm
DeepSeek V4 Vision W4 found that StepInputs::slot_mapping[g] is computed for every KV group, but the runner forwards only the full-attention group's mapping through CommonAttentionMetadata. MultiKvCacheIndex carries per-group block tables but no parallel per-group slot mappings.
That makes a production multi-cache model validate the real cache groups and then either invent identity slots or ignore non-primary cache writes. W4 needs the actual SWA, compressed-latent, attention-compressor, indexer-key, and indexer-compressor slots.
Fix in the same flow: add a borrowed per-group slot-mapping channel to the shared multi-KV index, populate it from runner-owned step inputs for the forward lifetime, and mutation-prove a non-identity mapping through the registered DeepSeek V4 path. The pull request for #2411 closes this issue too.
- 主要言語
- C++
- スター
- 440
- フォーク
- 55
- 平均マージ
- 1日 4時間
- マージ済み PR（30日）
- 366
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
mudler/vllm.cpp のほかの issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
メンテナーはふだん 1 日以内に返信
-
難易度 1/5 1時間未満 初心者へのやさしさ 88/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
メンテナーはふだん 1 日以内に返信
mudler/vllm.cpp の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
mpfaffenberger/privateer_reimagined#658 ·
メンテナーはふだん 1 日以内に返信
-
難易度 1/5 1時間未満 初心者へのやさしさ 85/100
microsoft/onnxruntime#33018 ·
メンテナーはふだん 2 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
AXERA-TECH/ax-llm#81 ·
-
enhancement
難易度 2/5 半日 初心者へのやさしさ 78/100
ros-industrial/ros2_canopen#448 ·
-
難易度 1/5 1時間未満 初心者へのやさしさ 78/100
メンテナーはふだん 1 日以内に返信