Compile bug: sycl crash when using kv-tail

Offen
#129 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Anfängerfreundlichkeit
25/100
Issue-Typ
Bug
Klarheit
Größtenteils klar
Aktivitätsstatus
Ruhig
Tech-Stack
cpp
Bereich
ai

Rechercherichtung

The abort is the assertion GGML_ASSERT(persistent && current) at src/llama-graph.cpp:3315, hit from build_attn during graph reservation for the qwen35 model, reached through llama_context::sched_reserve and resolve_fused_ops. Start by reading the assertion site and tracing where the persistent and current values come from on the kv-tail path. Done means llama-server --kv-tail-tokens 1024 starts on the SYCL backend without aborting.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

Git commit

ba27edad2a84ff045a556df06661e821285c2fab

Operating systems

Linux

GGML backends

SYCL

Problem description & steps to reproduce

run llama-server with --kv-tail-tokens 1024

First Bad Commit

No response

Compile command
Dockerfile built
Relevant log output
[57901] /app/src/llama-graph.cpp:3315: GGML_ASSERT(persistent && current) failed
[57901] libggml-base.so.0(+0x17e58)[0x7f731bfa3e58]
[57901] libggml-base.so.0(ggml_print_backtrace+0x285)[0x7f731bfa3e35]
[57901] libggml-base.so.0(ggml_abort+0x109)[0x7f731bfa2ea9]
[57901] libllama.so.0(+0x124e84)[0x7f731c1bbe84]
[57901] libllama.so.0(_ZNK17llm_graph_context10build_attnEP23llm_graph_input_attn_kvP11ggml_tensorS3_S3_S3_S3_S3_S3_S3_S3_fi+0x735)[0x7f731c1bb125]
[57901] libllama.so.0(_ZN18llama_model_qwen355graph16build_layer_attnEP23llm_graph_input_attn_kvP11ggml_tensorS4_Pii+0x4e4)[0x7f731c3bec54]
[57901] libllama.so.0(_ZN18llama_model_qwen355graphC2ERK11llama_modelRK16llm_graph_params+0x171)[0x7f731c3bdba1]
[57901] libllama.so.0(_ZNK18llama_model_qwen3516build_arch_graphERK16llm_graph_params+0x52)[0x7f731c3bd9e2]
[57901] libllama.so.0(_ZNK11llama_model11build_graphERK16llm_graph_params+0x19)[0x7f731c2b7299]
[57901] libllama.so.0(_ZN13llama_context13graph_reserveEjjjPK22llama_memory_context_ibPm+0x2a2)[0x7f731c1739a2]
[57901] libllama.so.0(+0xdc365)[0x7f731c173365]
[57901] libllama.so.0(_ZN13llama_context17resolve_fused_opsEPK22llama_memory_context_ij+0xa4)[0x7f731c173224]
[57901] libllama.so.0(_ZN13llama_context13sched_reserveEv+0x232)[0x7f731c172482]
[57901] libllama.so.0(_ZN13llama_contextC1ERK11llama_model20llama_context_params+0x351a)[0x7f731c17074a]
[57901] libllama.so.0(llama_init_from_model+0x2ec)[0x7f731c17ccdc]
[57901] libllama-common.so.0(+0x216683)[0x7f731c83f683]
[57901] libllama-common.so.0(_Z17common_fit_paramsPKcP18llama_model_paramsP20llama_context_paramsPfP32llama_model_tensor_buft_overridePmj14ggml_log_level+0x366)[0x7f731c8400a6]
[57901] libllama-common.so.0(_ZN18common_init_resultC2ER13common_paramsb+0x1f2)[0x7f731c816be2]
[57901] libllama-common.so.0(_Z23common_init_from_paramsR13common_paramsb+0x35)[0x7f731c819295]
[57901] libllama-server-impl.so(_ZN19server_context_impl10load_modelER13common_params+0xfa4)[0x7f731cc13cb4]
[57901] libllama-server-impl.so(_Z12llama_serverR13common_paramsiPPc+0x8fd1)[0x7f731cb4f851]
[57901] libllama-server-impl.so(_Z12llama_serveriPPc+0x85)[0x7f731cb40d15]
[57901] /lib/x86_64-linux-gnu/libc.so.6(+0x2a1ca)[0x7f731b4481ca]
[57901] /lib/x86_64-linux-gnu/libc.so.6(__libc_start_main+0x8b)[0x7f731b44828b]
[57901] /app/llama-server[0x406415]
0.12.695.807 I srv    operator(): instance name=qwen38_27b_ad_iq4_xs exited with status 1
Vorherrschende Sprache
C++
Sterne
1.2k
Forks
80
Ø Merge
4 T. 20 Std.
Gemergte PRs (30 T.)
2

Entwicklungsumgebung

Dieses Projekt bietet weder Dev-Container noch Dockerfile noch Beitragsleitfaden – die Einrichtung liegt bei Ihnen. Beginnen Sie mit der README; die allgemeinen Schritte stehen in unserem Leitfaden für den ersten Beitrag.

Erste Schritte

  1. Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
  3. Forken Sie das Repository und arbeiten Sie in einem Branch.
  4. Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus Anbeeld/beellama.cpp

Alle Issues in Anbeeld/beellama.cpp

Ähnliche Issues

Weitere Issues zu C++

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.