Compile bug: sycl crash when using kv-tail
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 25/100
Direzione di ricerca
The abort is the assertion GGML_ASSERT(persistent && current) at src/llama-graph.cpp:3315, hit from build_attn during graph reservation for the qwen35 model, reached through llama_context::sched_reserve and resolve_fused_ops. Start by reading the assertion site and tracing where the persistent and current values come from on the kv-tail path. Done means llama-server --kv-tail-tokens 1024 starts on the SYCL backend without aborting.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Git commit
ba27edad2a84ff045a556df06661e821285c2fab
Operating systems
Linux
GGML backends
SYCL
Problem description & steps to reproduce
run llama-server with --kv-tail-tokens 1024
First Bad Commit
No response
Compile command
Dockerfile built
Relevant log output
[57901] /app/src/llama-graph.cpp:3315: GGML_ASSERT(persistent && current) failed
[57901] libggml-base.so.0(+0x17e58)[0x7f731bfa3e58]
[57901] libggml-base.so.0(ggml_print_backtrace+0x285)[0x7f731bfa3e35]
[57901] libggml-base.so.0(ggml_abort+0x109)[0x7f731bfa2ea9]
[57901] libllama.so.0(+0x124e84)[0x7f731c1bbe84]
[57901] libllama.so.0(_ZNK17llm_graph_context10build_attnEP23llm_graph_input_attn_kvP11ggml_tensorS3_S3_S3_S3_S3_S3_S3_S3_fi+0x735)[0x7f731c1bb125]
[57901] libllama.so.0(_ZN18llama_model_qwen355graph16build_layer_attnEP23llm_graph_input_attn_kvP11ggml_tensorS4_Pii+0x4e4)[0x7f731c3bec54]
[57901] libllama.so.0(_ZN18llama_model_qwen355graphC2ERK11llama_modelRK16llm_graph_params+0x171)[0x7f731c3bdba1]
[57901] libllama.so.0(_ZNK18llama_model_qwen3516build_arch_graphERK16llm_graph_params+0x52)[0x7f731c3bd9e2]
[57901] libllama.so.0(_ZNK11llama_model11build_graphERK16llm_graph_params+0x19)[0x7f731c2b7299]
[57901] libllama.so.0(_ZN13llama_context13graph_reserveEjjjPK22llama_memory_context_ibPm+0x2a2)[0x7f731c1739a2]
[57901] libllama.so.0(+0xdc365)[0x7f731c173365]
[57901] libllama.so.0(_ZN13llama_context17resolve_fused_opsEPK22llama_memory_context_ij+0xa4)[0x7f731c173224]
[57901] libllama.so.0(_ZN13llama_context13sched_reserveEv+0x232)[0x7f731c172482]
[57901] libllama.so.0(_ZN13llama_contextC1ERK11llama_model20llama_context_params+0x351a)[0x7f731c17074a]
[57901] libllama.so.0(llama_init_from_model+0x2ec)[0x7f731c17ccdc]
[57901] libllama-common.so.0(+0x216683)[0x7f731c83f683]
[57901] libllama-common.so.0(_Z17common_fit_paramsPKcP18llama_model_paramsP20llama_context_paramsPfP32llama_model_tensor_buft_overridePmj14ggml_log_level+0x366)[0x7f731c8400a6]
[57901] libllama-common.so.0(_ZN18common_init_resultC2ER13common_paramsb+0x1f2)[0x7f731c816be2]
[57901] libllama-common.so.0(_Z23common_init_from_paramsR13common_paramsb+0x35)[0x7f731c819295]
[57901] libllama-server-impl.so(_ZN19server_context_impl10load_modelER13common_params+0xfa4)[0x7f731cc13cb4]
[57901] libllama-server-impl.so(_Z12llama_serverR13common_paramsiPPc+0x8fd1)[0x7f731cb4f851]
[57901] libllama-server-impl.so(_Z12llama_serveriPPc+0x85)[0x7f731cb40d15]
[57901] /lib/x86_64-linux-gnu/libc.so.6(+0x2a1ca)[0x7f731b4481ca]
[57901] /lib/x86_64-linux-gnu/libc.so.6(__libc_start_main+0x8b)[0x7f731b44828b]
[57901] /app/llama-server[0x406415]
0.12.695.807 I srv operator(): instance name=qwen38_27b_ad_iq4_xs exited with status 1
- Lingua principale
- C++
- Stelle
- 1.2k
- Fork
- 80
- Merge medio
- 4g 20h
- PR unite (30g)
- 2
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di Anbeeld/beellama.cpp
-
[BUG] KVarN assertion failure in build_inp_mem_hybrid_iswa() due to uninitialized self_kvarn_rotAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
Anbeeld/beellama.cpp#205 ·
-
Difficoltà 3/5 Mezza giornata Idoneità per principianti 58/100
Anbeeld/beellama.cpp#206 ·
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 57/100
Anbeeld/beellama.cpp#204 ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100
Anbeeld/beellama.cpp#203 · 2 commenti ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100
Anbeeld/beellama.cpp#202 · 1 commento ·
Tutte le issue di Anbeeld/beellama.cpp
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
CachyOS/packageinstaller#144 ·
I maintainer di solito rispondono entro 1 giorno
-
documentation
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 82/100
TomerAberbach/profiler-md#951 ·
I maintainer di solito rispondono entro 1 giorno
-
[Bug] Default key routing (JavaStringHash) picks a different partition than the Java client for about half of keysForse già presa @0z5a l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
apache/pulsar-client-go#1575 ·
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
pocoproject/poco#5764 ·
I maintainer di solito rispondono entro 2 giorni
-
bug cpp-core-guidelines low-priority
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
NatronGitHub/openfx-supportext#164 ·
I maintainer di solito rispondono entro 1 giorno