[BUG] KVarN assertion failure in build_inp_mem_hybrid_iswa() due to uninitialized self_kvarn_rot
還沒有人認領這個 Issue。
評估
- 難度
- 2/5
- 預估耗時
- 1-3 小時
- 新手友好度
- 68/100
- Issue 類型
- 缺陷
- 描述清晰度
- 描述清楚
- 活躍度
- 活躍
- 技術堆疊
- cpp
研究方向
閱讀 build_attn_inp_kv_iswa()(位於 src/llama-graph.cpp 第 5320-5350 行附近),了解可用的 KVarN 初始化,然後將其與 build_inp_mem_hybrid_iswa()(位於第 5678-5685 行附近)進行比較,後者只設定了 self_k_rot/self_v_rot。失敗位置是 src/llama-graph.cpp:4829 處的斷言,它會被觸發,因為對於混合 SWA 圖,self_kvarn_rot_* 會保持為 null。依照描述移植 base 和 swa 的 KVarN 區塊,然後使用 --cache-type-k kvarn* 建置並執行一個混合 SWA 模型,以確認該斷言不再觸發。
由索引模型根據 Issue 內容生成。
描述
[BUG] KVarN asserts in build_inp_mem_hybrid_iswa() due to uninitialized self_kvarn_rot and self_kvarn_mat_idxs
Description
When running hybrid SWA models (such as Inkling-2 or any architecture built with build_inp_mem_hybrid_iswa()) with KVarN enabled (--cache-type-k kvarn*), llama_context hits an assertion during graph reservation:
src/llama-graph.cpp:4829: GGML_ASSERT(!use_kvarn_q_rot || llm_kvarn_rot_for_dim(
inp->self_kvarn_rot_64, inp->self_kvarn_rot_128,
inp->self_kvarn_rot_256, inp->self_kvarn_rot_512, q_cur->ne[0]) != nullptr) failed
Root Cause
In src/llama-graph.cpp:
In build_attn_inp_kv_iswa() (lines 5320–5350), self_kvarn_rot_* and self_kvarn_mat_idxs* are initialized from kvarn_base and kvarn_swa:
inp->self_k_rot = mctx_cur->get_base()->get_k_rot();
inp->self_v_rot = mctx_cur->get_base()->get_v_rot();
if (const auto * kvarn_base = dynamic_cast<const llama_kv_cache_kvarn_context *>(mctx_cur->get_base())) {
inp->self_kvarn_rot_64 = kvarn_base->build_input_kvarn_rot(ctx0, 64);
inp->self_kvarn_rot_128 = kvarn_base->build_input_kvarn_rot(ctx0, 128);
inp->self_kvarn_rot_256 = kvarn_base->build_input_kvarn_rot(ctx0, 256);
inp->self_kvarn_rot_512 = kvarn_base->build_input_kvarn_rot(ctx0, 512);
if (kvarn_base->uses_materialization_indices()) {
inp->self_kvarn_mat_idxs = kvarn_base->build_input_kvarn_mat_idxs(ctx0);
kvarn_base->set_mat_idxs(inp->self_kvarn_mat_idxs);
}
}
// ... same for kvarn_swa ...
However, in build_inp_mem_hybrid_iswa() (lines 5678–5685), only self_k_rot and self_v_rot were initialized:
inp_attn->self_k_rot = attn_ctx->get_base()->get_k_rot();
inp_attn->self_v_rot = attn_ctx->get_base()->get_v_rot();
inp_attn->self_k_rot_swa = attn_ctx->get_swa()->get_k_rot();
inp_attn->self_v_rot_swa = attn_ctx->get_swa()->get_v_rot();
The KVarN rotation and materialization index setup was omitted, leaving all self_kvarn_rot_* pointers nullptr.
Proposed Fix
Add the matching KVarN initialization blocks for kvarn_base and kvarn_swa into build_inp_mem_hybrid_iswa() right after self_v_rot_swa:
if (const auto * kvarn_base = dynamic_cast<const llama_kv_cache_kvarn_context *>(attn_ctx->get_base())) {
inp_attn->self_kvarn_rot_64 = kvarn_base->build_input_kvarn_rot(ctx0, 64);
inp_attn->self_kvarn_rot_128 = kvarn_base->build_input_kvarn_rot(ctx0, 128);
inp_attn->self_kvarn_rot_256 = kvarn_base->build_input_kvarn_rot(ctx0, 256);
inp_attn->self_kvarn_rot_512 = kvarn_base->build_input_kvarn_rot(ctx0, 512);
if (kvarn_base->uses_materialization_indices()) {
inp_attn->self_kvarn_mat_idxs = kvarn_base->build_input_kvarn_mat_idxs(ctx0);
kvarn_base->set_mat_idxs(inp_attn->self_kvarn_mat_idxs);
}
}
if (const auto * kvarn_swa = dynamic_cast<const llama_kv_cache_kvarn_context *>(attn_ctx->get_swa())) {
if (inp_attn->self_kvarn_rot_64 == nullptr) {
inp_attn->self_kvarn_rot_64 = kvarn_swa->build_input_kvarn_rot(ctx0, 64);
inp_attn->self_kvarn_rot_128 = kvarn_swa->build_input_kvarn_rot(ctx0, 128);
inp_attn->self_kvarn_rot_256 = kvarn_swa->build_input_kvarn_rot(ctx0, 256);
inp_attn->self_kvarn_rot_512 = kvarn_swa->build_input_kvarn_rot(ctx0, 512);
}
inp_attn->self_kvarn_mat_idxs_swa = kvarn_swa->build_input_kvarn_mat_idxs(ctx0);
kvarn_swa->set_mat_idxs(inp_attn->self_kvarn_mat_idxs_swa);
}
- 主要語言
- C++
- 星號
- 1.2k
- 分支
- 80
- 平均合併
- 4 天 20 小時
- 30 天內合併 PR
- 2
環境準備
這個專案沒有提供開發容器、Dockerfile 或貢獻指南,環境需要你自己搭建:先看它的 README,通用步驟見我們的新手貢獻指南。
從這裡開始
- 先讀完整個 Issue,再讀專案的貢獻指南。
- 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
- Fork 儲存庫,在一個分支上完成修改。
- 送出 Pull Request,並在描述裡引用這個 Issue 編號。
Anbeeld/beellama.cpp 的其他 Issue
-
難度 3/5 半天 新手友好度 58/100
Anbeeld/beellama.cpp#206 ·
-
難度 3/5 1-2 天 新手友好度 57/100
Anbeeld/beellama.cpp#204 ·
-
難度 4/5 3-5 天 新手友好度 45/100
Anbeeld/beellama.cpp#203 · 2 則留言 ·
-
難度 4/5 3-5 天 新手友好度 45/100
Anbeeld/beellama.cpp#202 · 1 則留言 ·
-
難度 4/5 3-5 天 新手友好度 48/100
Anbeeld/beellama.cpp#200 ·
查看 Anbeeld/beellama.cpp 的全部 Issue
相似的 Issue
-
難度 1/5 1-3 小時 新手友好度 82/100
psi29a/d2decomped#691 ·
維護者通常 1 天內回覆
-
難度 2/5 1-3 小時 新手友好度 72/100
CachyOS/packageinstaller#144 ·
維護者通常 1 天內回覆
-
prio:low type:bug
難度 2/5 1-3 小時 新手友好度 72/100
NatronGitHub/Natron#1638 ·
維護者通常 1 天內回覆
-
難度 2/5 1-3 小時 新手友好度 85/100
-
documentation
難度 1/5 1 小時以內 新手友好度 82/100
TomerAberbach/profiler-md#951 ·
維護者通常 1 天內回覆