Compile bug: sycl crash when using kv-tail
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Anfängerfreundlichkeit
- 25/100
Rechercherichtung
The abort is the assertion GGML_ASSERT(persistent && current) at src/llama-graph.cpp:3315, hit from build_attn during graph reservation for the qwen35 model, reached through llama_context::sched_reserve and resolve_fused_ops. Start by reading the assertion site and tracing where the persistent and current values come from on the kv-tail path. Done means llama-server --kv-tail-tokens 1024 starts on the SYCL backend without aborting.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
Git commit
ba27edad2a84ff045a556df06661e821285c2fab
Operating systems
Linux
GGML backends
SYCL
Problem description & steps to reproduce
run llama-server with --kv-tail-tokens 1024
First Bad Commit
No response
Compile command
Dockerfile built
Relevant log output
[57901] /app/src/llama-graph.cpp:3315: GGML_ASSERT(persistent && current) failed
[57901] libggml-base.so.0(+0x17e58)[0x7f731bfa3e58]
[57901] libggml-base.so.0(ggml_print_backtrace+0x285)[0x7f731bfa3e35]
[57901] libggml-base.so.0(ggml_abort+0x109)[0x7f731bfa2ea9]
[57901] libllama.so.0(+0x124e84)[0x7f731c1bbe84]
[57901] libllama.so.0(_ZNK17llm_graph_context10build_attnEP23llm_graph_input_attn_kvP11ggml_tensorS3_S3_S3_S3_S3_S3_S3_S3_fi+0x735)[0x7f731c1bb125]
[57901] libllama.so.0(_ZN18llama_model_qwen355graph16build_layer_attnEP23llm_graph_input_attn_kvP11ggml_tensorS4_Pii+0x4e4)[0x7f731c3bec54]
[57901] libllama.so.0(_ZN18llama_model_qwen355graphC2ERK11llama_modelRK16llm_graph_params+0x171)[0x7f731c3bdba1]
[57901] libllama.so.0(_ZNK18llama_model_qwen3516build_arch_graphERK16llm_graph_params+0x52)[0x7f731c3bd9e2]
[57901] libllama.so.0(_ZNK11llama_model11build_graphERK16llm_graph_params+0x19)[0x7f731c2b7299]
[57901] libllama.so.0(_ZN13llama_context13graph_reserveEjjjPK22llama_memory_context_ibPm+0x2a2)[0x7f731c1739a2]
[57901] libllama.so.0(+0xdc365)[0x7f731c173365]
[57901] libllama.so.0(_ZN13llama_context17resolve_fused_opsEPK22llama_memory_context_ij+0xa4)[0x7f731c173224]
[57901] libllama.so.0(_ZN13llama_context13sched_reserveEv+0x232)[0x7f731c172482]
[57901] libllama.so.0(_ZN13llama_contextC1ERK11llama_model20llama_context_params+0x351a)[0x7f731c17074a]
[57901] libllama.so.0(llama_init_from_model+0x2ec)[0x7f731c17ccdc]
[57901] libllama-common.so.0(+0x216683)[0x7f731c83f683]
[57901] libllama-common.so.0(_Z17common_fit_paramsPKcP18llama_model_paramsP20llama_context_paramsPfP32llama_model_tensor_buft_overridePmj14ggml_log_level+0x366)[0x7f731c8400a6]
[57901] libllama-common.so.0(_ZN18common_init_resultC2ER13common_paramsb+0x1f2)[0x7f731c816be2]
[57901] libllama-common.so.0(_Z23common_init_from_paramsR13common_paramsb+0x35)[0x7f731c819295]
[57901] libllama-server-impl.so(_ZN19server_context_impl10load_modelER13common_params+0xfa4)[0x7f731cc13cb4]
[57901] libllama-server-impl.so(_Z12llama_serverR13common_paramsiPPc+0x8fd1)[0x7f731cb4f851]
[57901] libllama-server-impl.so(_Z12llama_serveriPPc+0x85)[0x7f731cb40d15]
[57901] /lib/x86_64-linux-gnu/libc.so.6(+0x2a1ca)[0x7f731b4481ca]
[57901] /lib/x86_64-linux-gnu/libc.so.6(__libc_start_main+0x8b)[0x7f731b44828b]
[57901] /app/llama-server[0x406415]
0.12.695.807 I srv operator(): instance name=qwen38_27b_ad_iq4_xs exited with status 1
- Vorherrschende Sprache
- C++
- Sterne
- 1.2k
- Forks
- 80
- Ø Merge
- 4 T. 20 Std.
- Gemergte PRs (30 T.)
- 2
Entwicklungsumgebung
Dieses Projekt bietet weder Dev-Container noch Dockerfile noch Beitragsleitfaden – die Einrichtung liegt bei Ihnen. Beginnen Sie mit der README; die allgemeinen Schritte stehen in unserem Leitfaden für den ersten Beitrag.
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus Anbeeld/beellama.cpp
-
[BUG] KVarN assertion failure in build_inp_mem_hybrid_iswa() due to uninitialized self_kvarn_rotOffen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100
Anbeeld/beellama.cpp#205 ·
-
Schwierigkeit 3/5 Ein halber Tag Anfängerfreundlichkeit 58/100
Anbeeld/beellama.cpp#206 ·
-
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 57/100
Anbeeld/beellama.cpp#204 ·
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 45/100
Anbeeld/beellama.cpp#203 · 2 Kommentare ·
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 45/100
Anbeeld/beellama.cpp#202 · 1 Kommentar ·
Alle Issues in Anbeeld/beellama.cpp
Ähnliche Issues
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
CachyOS/packageinstaller#144 ·
Maintainer antworten meist innerhalb von 1 Tag
-
documentation
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 82/100
TomerAberbach/profiler-md#951 ·
Maintainer antworten meist innerhalb von 1 Tag
-
[Bug] Default key routing (JavaStringHash) picks a different partition than the Java client for about half of keysEvtl. vergeben @0z5a hat das heute übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 82/100
apache/pulsar-client-go#1575 ·
Maintainer antworten meist innerhalb von 2 Tagen
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
pocoproject/poco#5764 ·
Maintainer antworten meist innerhalb von 2 Tagen
-
bug cpp-core-guidelines low-priority
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 62/100
NatronGitHub/openfx-supportext#164 ·
Maintainer antworten meist innerhalb von 1 Tag