[BUG] KVarN assertion failure in build_inp_mem_hybrid_iswa() due to uninitialized self_kvarn_rot

未關閉 適合新手
#205 0 則留言 0 個 reaction 已指派 0 人 在 GitHub 檢視

還沒有人認領這個 Issue。

評估

難度
2/5
預估耗時
1-3 小時
新手友好度
68/100
Issue 類型
缺陷
描述清晰度
描述清楚
活躍度
活躍
技術堆疊
cpp

研究方向

閱讀 build_attn_inp_kv_iswa()(位於 src/llama-graph.cpp 第 5320-5350 行附近),了解可用的 KVarN 初始化,然後將其與 build_inp_mem_hybrid_iswa()(位於第 5678-5685 行附近)進行比較,後者只設定了 self_k_rot/self_v_rot。失敗位置是 src/llama-graph.cpp:4829 處的斷言,它會被觸發,因為對於混合 SWA 圖,self_kvarn_rot_* 會保持為 null。依照描述移植 base 和 swa 的 KVarN 區塊,然後使用 --cache-type-k kvarn* 建置並執行一個混合 SWA 模型,以確認該斷言不再觸發。

由索引模型根據 Issue 內容生成。

描述

[BUG] KVarN asserts in build_inp_mem_hybrid_iswa() due to uninitialized self_kvarn_rot and self_kvarn_mat_idxs

Description

When running hybrid SWA models (such as Inkling-2 or any architecture built with build_inp_mem_hybrid_iswa()) with KVarN enabled (--cache-type-k kvarn*), llama_context hits an assertion during graph reservation:

src/llama-graph.cpp:4829: GGML_ASSERT(!use_kvarn_q_rot || llm_kvarn_rot_for_dim(
    inp->self_kvarn_rot_64, inp->self_kvarn_rot_128,
    inp->self_kvarn_rot_256, inp->self_kvarn_rot_512, q_cur->ne[0]) != nullptr) failed

Root Cause

In src/llama-graph.cpp:
In build_attn_inp_kv_iswa() (lines 5320–5350), self_kvarn_rot_* and self_kvarn_mat_idxs* are initialized from kvarn_base and kvarn_swa:

    inp->self_k_rot = mctx_cur->get_base()->get_k_rot();
    inp->self_v_rot = mctx_cur->get_base()->get_v_rot();
    if (const auto * kvarn_base = dynamic_cast<const llama_kv_cache_kvarn_context *>(mctx_cur->get_base())) {
        inp->self_kvarn_rot_64  = kvarn_base->build_input_kvarn_rot(ctx0, 64);
        inp->self_kvarn_rot_128 = kvarn_base->build_input_kvarn_rot(ctx0, 128);
        inp->self_kvarn_rot_256 = kvarn_base->build_input_kvarn_rot(ctx0, 256);
        inp->self_kvarn_rot_512 = kvarn_base->build_input_kvarn_rot(ctx0, 512);
        if (kvarn_base->uses_materialization_indices()) {
            inp->self_kvarn_mat_idxs = kvarn_base->build_input_kvarn_mat_idxs(ctx0);
            kvarn_base->set_mat_idxs(inp->self_kvarn_mat_idxs);
        }
    }
    // ... same for kvarn_swa ...

However, in build_inp_mem_hybrid_iswa() (lines 5678–5685), only self_k_rot and self_v_rot were initialized:

    inp_attn->self_k_rot = attn_ctx->get_base()->get_k_rot();
    inp_attn->self_v_rot = attn_ctx->get_base()->get_v_rot();

    inp_attn->self_k_rot_swa = attn_ctx->get_swa()->get_k_rot();
    inp_attn->self_v_rot_swa = attn_ctx->get_swa()->get_v_rot();

The KVarN rotation and materialization index setup was omitted, leaving all self_kvarn_rot_* pointers nullptr.

Proposed Fix

Add the matching KVarN initialization blocks for kvarn_base and kvarn_swa into build_inp_mem_hybrid_iswa() right after self_v_rot_swa:

    if (const auto * kvarn_base = dynamic_cast<const llama_kv_cache_kvarn_context *>(attn_ctx->get_base())) {
        inp_attn->self_kvarn_rot_64  = kvarn_base->build_input_kvarn_rot(ctx0, 64);
        inp_attn->self_kvarn_rot_128 = kvarn_base->build_input_kvarn_rot(ctx0, 128);
        inp_attn->self_kvarn_rot_256 = kvarn_base->build_input_kvarn_rot(ctx0, 256);
        inp_attn->self_kvarn_rot_512 = kvarn_base->build_input_kvarn_rot(ctx0, 512);
        if (kvarn_base->uses_materialization_indices()) {
            inp_attn->self_kvarn_mat_idxs = kvarn_base->build_input_kvarn_mat_idxs(ctx0);
            kvarn_base->set_mat_idxs(inp_attn->self_kvarn_mat_idxs);
        }
    }

    if (const auto * kvarn_swa = dynamic_cast<const llama_kv_cache_kvarn_context *>(attn_ctx->get_swa())) {
        if (inp_attn->self_kvarn_rot_64 == nullptr) {
            inp_attn->self_kvarn_rot_64  = kvarn_swa->build_input_kvarn_rot(ctx0, 64);
            inp_attn->self_kvarn_rot_128 = kvarn_swa->build_input_kvarn_rot(ctx0, 128);
            inp_attn->self_kvarn_rot_256 = kvarn_swa->build_input_kvarn_rot(ctx0, 256);
            inp_attn->self_kvarn_rot_512 = kvarn_swa->build_input_kvarn_rot(ctx0, 512);
        }
        inp_attn->self_kvarn_mat_idxs_swa = kvarn_swa->build_input_kvarn_mat_idxs(ctx0);
        kvarn_swa->set_mat_idxs(inp_attn->self_kvarn_mat_idxs_swa);
    }
主要語言
C++
星號
1.2k
分支
80
平均合併
4 天 20 小時
30 天內合併 PR
2

環境準備

這個專案沒有提供開發容器、Dockerfile 或貢獻指南,環境需要你自己搭建:先看它的 README,通用步驟見我們的新手貢獻指南。

從這裡開始

  1. 先讀完整個 Issue,再讀專案的貢獻指南。
  2. 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
  3. Fork 儲存庫,在一個分支上完成修改。
  4. 送出 Pull Request,並在描述裡引用這個 Issue 編號。

Anbeeld/beellama.cpp 的其他 Issue

查看 Anbeeld/beellama.cpp 的全部 Issue

相似的 Issue

更多 C++ Issue

把新 issue 寄到你的電子郵件信箱

精選適合新手參與的 GitHub issue 摘要。