Compile bug: sycl crash when using kv-tail
還沒有人認領這個 Issue。
評估
研究方向
The abort is the assertion GGML_ASSERT(persistent && current) at src/llama-graph.cpp:3315, hit from build_attn during graph reservation for the qwen35 model, reached through llama_context::sched_reserve and resolve_fused_ops. Start by reading the assertion site and tracing where the persistent and current values come from on the kv-tail path. Done means llama-server --kv-tail-tokens 1024 starts on the SYCL backend without aborting.
由索引模型根據 Issue 內容生成。
描述
Git commit
ba27edad2a84ff045a556df06661e821285c2fab
Operating systems
Linux
GGML backends
SYCL
Problem description & steps to reproduce
run llama-server with --kv-tail-tokens 1024
First Bad Commit
No response
Compile command
Dockerfile built
Relevant log output
[57901] /app/src/llama-graph.cpp:3315: GGML_ASSERT(persistent && current) failed
[57901] libggml-base.so.0(+0x17e58)[0x7f731bfa3e58]
[57901] libggml-base.so.0(ggml_print_backtrace+0x285)[0x7f731bfa3e35]
[57901] libggml-base.so.0(ggml_abort+0x109)[0x7f731bfa2ea9]
[57901] libllama.so.0(+0x124e84)[0x7f731c1bbe84]
[57901] libllama.so.0(_ZNK17llm_graph_context10build_attnEP23llm_graph_input_attn_kvP11ggml_tensorS3_S3_S3_S3_S3_S3_S3_S3_fi+0x735)[0x7f731c1bb125]
[57901] libllama.so.0(_ZN18llama_model_qwen355graph16build_layer_attnEP23llm_graph_input_attn_kvP11ggml_tensorS4_Pii+0x4e4)[0x7f731c3bec54]
[57901] libllama.so.0(_ZN18llama_model_qwen355graphC2ERK11llama_modelRK16llm_graph_params+0x171)[0x7f731c3bdba1]
[57901] libllama.so.0(_ZNK18llama_model_qwen3516build_arch_graphERK16llm_graph_params+0x52)[0x7f731c3bd9e2]
[57901] libllama.so.0(_ZNK11llama_model11build_graphERK16llm_graph_params+0x19)[0x7f731c2b7299]
[57901] libllama.so.0(_ZN13llama_context13graph_reserveEjjjPK22llama_memory_context_ibPm+0x2a2)[0x7f731c1739a2]
[57901] libllama.so.0(+0xdc365)[0x7f731c173365]
[57901] libllama.so.0(_ZN13llama_context17resolve_fused_opsEPK22llama_memory_context_ij+0xa4)[0x7f731c173224]
[57901] libllama.so.0(_ZN13llama_context13sched_reserveEv+0x232)[0x7f731c172482]
[57901] libllama.so.0(_ZN13llama_contextC1ERK11llama_model20llama_context_params+0x351a)[0x7f731c17074a]
[57901] libllama.so.0(llama_init_from_model+0x2ec)[0x7f731c17ccdc]
[57901] libllama-common.so.0(+0x216683)[0x7f731c83f683]
[57901] libllama-common.so.0(_Z17common_fit_paramsPKcP18llama_model_paramsP20llama_context_paramsPfP32llama_model_tensor_buft_overridePmj14ggml_log_level+0x366)[0x7f731c8400a6]
[57901] libllama-common.so.0(_ZN18common_init_resultC2ER13common_paramsb+0x1f2)[0x7f731c816be2]
[57901] libllama-common.so.0(_Z23common_init_from_paramsR13common_paramsb+0x35)[0x7f731c819295]
[57901] libllama-server-impl.so(_ZN19server_context_impl10load_modelER13common_params+0xfa4)[0x7f731cc13cb4]
[57901] libllama-server-impl.so(_Z12llama_serverR13common_paramsiPPc+0x8fd1)[0x7f731cb4f851]
[57901] libllama-server-impl.so(_Z12llama_serveriPPc+0x85)[0x7f731cb40d15]
[57901] /lib/x86_64-linux-gnu/libc.so.6(+0x2a1ca)[0x7f731b4481ca]
[57901] /lib/x86_64-linux-gnu/libc.so.6(__libc_start_main+0x8b)[0x7f731b44828b]
[57901] /app/llama-server[0x406415]
0.12.695.807 I srv operator(): instance name=qwen38_27b_ad_iq4_xs exited with status 1
- 主要語言
- C++
- 星號
- 1.2k
- 分支
- 80
- 平均合併
- 4 天 20 小時
- 30 天內合併 PR
- 2
環境準備
這個專案沒有提供開發容器、Dockerfile 或貢獻指南,環境需要你自己搭建:先看它的 README,通用步驟見我們的新手貢獻指南。
從這裡開始
- 先讀完整個 Issue,再讀專案的貢獻指南。
- 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
- Fork 儲存庫,在一個分支上完成修改。
- 送出 Pull Request,並在描述裡引用這個 Issue 編號。
Anbeeld/beellama.cpp 的其他 Issue
-
[BUG] KVarN assertion failure in build_inp_mem_hybrid_iswa() due to uninitialized self_kvarn_rot未關閉
難度 2/5 1-3 小時 新手友好度 68/100
Anbeeld/beellama.cpp#205 ·
-
難度 3/5 半天 新手友好度 58/100
Anbeeld/beellama.cpp#206 ·
-
難度 3/5 1-2 天 新手友好度 57/100
Anbeeld/beellama.cpp#204 ·
-
難度 4/5 3-5 天 新手友好度 45/100
Anbeeld/beellama.cpp#203 · 2 則留言 ·
-
難度 4/5 3-5 天 新手友好度 45/100
Anbeeld/beellama.cpp#202 · 1 則留言 ·
查看 Anbeeld/beellama.cpp 的全部 Issue
相似的 Issue
-
難度 1/5 1-3 小時 新手友好度 82/100
psi29a/d2decomped#691 ·
維護者通常 1 天內回覆
-
難度 2/5 1-3 小時 新手友好度 72/100
CachyOS/packageinstaller#144 ·
維護者通常 1 天內回覆
-
prio:low type:bug
難度 2/5 1-3 小時 新手友好度 72/100
NatronGitHub/Natron#1638 ·
維護者通常 1 天內回覆
-
難度 2/5 1-3 小時 新手友好度 85/100
-
documentation
難度 1/5 1 小時以內 新手友好度 82/100
TomerAberbach/profiler-md#951 ·
維護者通常 1 天內回覆