Compile bug: sycl crash when using kv-tail
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 25/100
Línea de trabajo
The abort is the assertion GGML_ASSERT(persistent && current) at src/llama-graph.cpp:3315, hit from build_attn during graph reservation for the qwen35 model, reached through llama_context::sched_reserve and resolve_fused_ops. Start by reading the assertion site and tracing where the persistent and current values come from on the kv-tail path. Done means llama-server --kv-tail-tokens 1024 starts on the SYCL backend without aborting.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Git commit
ba27edad2a84ff045a556df06661e821285c2fab
Operating systems
Linux
GGML backends
SYCL
Problem description & steps to reproduce
run llama-server with --kv-tail-tokens 1024
First Bad Commit
No response
Compile command
Dockerfile built
Relevant log output
[57901] /app/src/llama-graph.cpp:3315: GGML_ASSERT(persistent && current) failed
[57901] libggml-base.so.0(+0x17e58)[0x7f731bfa3e58]
[57901] libggml-base.so.0(ggml_print_backtrace+0x285)[0x7f731bfa3e35]
[57901] libggml-base.so.0(ggml_abort+0x109)[0x7f731bfa2ea9]
[57901] libllama.so.0(+0x124e84)[0x7f731c1bbe84]
[57901] libllama.so.0(_ZNK17llm_graph_context10build_attnEP23llm_graph_input_attn_kvP11ggml_tensorS3_S3_S3_S3_S3_S3_S3_S3_fi+0x735)[0x7f731c1bb125]
[57901] libllama.so.0(_ZN18llama_model_qwen355graph16build_layer_attnEP23llm_graph_input_attn_kvP11ggml_tensorS4_Pii+0x4e4)[0x7f731c3bec54]
[57901] libllama.so.0(_ZN18llama_model_qwen355graphC2ERK11llama_modelRK16llm_graph_params+0x171)[0x7f731c3bdba1]
[57901] libllama.so.0(_ZNK18llama_model_qwen3516build_arch_graphERK16llm_graph_params+0x52)[0x7f731c3bd9e2]
[57901] libllama.so.0(_ZNK11llama_model11build_graphERK16llm_graph_params+0x19)[0x7f731c2b7299]
[57901] libllama.so.0(_ZN13llama_context13graph_reserveEjjjPK22llama_memory_context_ibPm+0x2a2)[0x7f731c1739a2]
[57901] libllama.so.0(+0xdc365)[0x7f731c173365]
[57901] libllama.so.0(_ZN13llama_context17resolve_fused_opsEPK22llama_memory_context_ij+0xa4)[0x7f731c173224]
[57901] libllama.so.0(_ZN13llama_context13sched_reserveEv+0x232)[0x7f731c172482]
[57901] libllama.so.0(_ZN13llama_contextC1ERK11llama_model20llama_context_params+0x351a)[0x7f731c17074a]
[57901] libllama.so.0(llama_init_from_model+0x2ec)[0x7f731c17ccdc]
[57901] libllama-common.so.0(+0x216683)[0x7f731c83f683]
[57901] libllama-common.so.0(_Z17common_fit_paramsPKcP18llama_model_paramsP20llama_context_paramsPfP32llama_model_tensor_buft_overridePmj14ggml_log_level+0x366)[0x7f731c8400a6]
[57901] libllama-common.so.0(_ZN18common_init_resultC2ER13common_paramsb+0x1f2)[0x7f731c816be2]
[57901] libllama-common.so.0(_Z23common_init_from_paramsR13common_paramsb+0x35)[0x7f731c819295]
[57901] libllama-server-impl.so(_ZN19server_context_impl10load_modelER13common_params+0xfa4)[0x7f731cc13cb4]
[57901] libllama-server-impl.so(_Z12llama_serverR13common_paramsiPPc+0x8fd1)[0x7f731cb4f851]
[57901] libllama-server-impl.so(_Z12llama_serveriPPc+0x85)[0x7f731cb40d15]
[57901] /lib/x86_64-linux-gnu/libc.so.6(+0x2a1ca)[0x7f731b4481ca]
[57901] /lib/x86_64-linux-gnu/libc.so.6(__libc_start_main+0x8b)[0x7f731b44828b]
[57901] /app/llama-server[0x406415]
0.12.695.807 I srv operator(): instance name=qwen38_27b_ad_iq4_xs exited with status 1
- Lenguaje dominante
- C++
- Estrellas
- 1.2k
- Forks
- 80
- Merge medio
- 4 d 20 h
- PR fusionados (30 d)
- 2
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de Anbeeld/beellama.cpp
-
[BUG] KVarN assertion failure in build_inp_mem_hybrid_iswa() due to uninitialized self_kvarn_rotAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
Anbeeld/beellama.cpp#205 ·
-
Dificultad 3/5 Medio día Aptitud para principiantes 58/100
Anbeeld/beellama.cpp#206 ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 57/100
Anbeeld/beellama.cpp#204 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 45/100
Anbeeld/beellama.cpp#203 · 2 comentarios ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 45/100
Anbeeld/beellama.cpp#202 · 1 comentario ·
Todos los issues de Anbeeld/beellama.cpp
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
CachyOS/packageinstaller#144 ·
Los mantenedores suelen responder en 1 día
-
documentation
Dificultad 1/5 Menos de una hora Aptitud para principiantes 82/100
TomerAberbach/profiler-md#951 ·
Los mantenedores suelen responder en 1 día
-
[Bug] Default key routing (JavaStringHash) picks a different partition than the Java client for about half of keysPosiblemente ocupada @0z5a la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
apache/pulsar-client-go#1575 ·
Los mantenedores suelen responder en 2 días
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
pocoproject/poco#5764 ·
Los mantenedores suelen responder en 2 días
-
bug cpp-core-guidelines low-priority
Dificultad 2/5 1-3 horas Aptitud para principiantes 62/100
NatronGitHub/openfx-supportext#164 ·
Los mantenedores suelen responder en 1 día