Bug Report: kvarn6 KV-quantization causes massive performance regression on ROCm (RX 7900 XTX)
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 30/100
- Tipo de issue
- Error
- Claridad
- Bastante claro
- Estado de actividad
- Activo
- Stack tecnológico
- cpp
- Área
- machine-learning, performance
Línea de trabajo
Reproduce with the two llama-server commands and compare the attached level-5 logs, focusing on where the kvarn6 path diverges from q8_0 in the ROCm backend. Profile prompt processing and token generation separately to find whether the slowdown is in quantization, attention, or kernel dispatch. Done means the regression is localized to a specific ROCm kernel or code path and kvarn6 throughput is no longer an order of magnitude below q8_0.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Issue: Using KV-quantization kvarn6 results in extremely slow performance compared to q8_0 on AMD ROCm hardware.
Performance Comparison
Both tests used the same prompt (10,410 tokens) and identical settings except for KV quantization.
Note: The kvarn6 run was canceled early due to excessive runtime.
| Metric | q8_0 | kvarn6 | Regression |
|---|---|---|---|
| Prompt Processing | 821.19 tokens/sec | 53.79 tokens/sec | ~15.3x slower |
| Text Generation | 29.52 tokens/sec | 1.34 tokens/sec | ~22x slower |
This is a severe performance regression that makes kvarn6 practically unusable.
Steps to Reproduce
- Use llama.cpp build
11192 (ee8754c57)with ROCm backend on Windows - Load a large model (tested with Qwen3.6-27B-Fable-Fusion-Q4_K_M)
- Run with full offload (
-ngl 99) and flash attention (-fa 1) - Compare these two configurations:
q8_0 (baseline):
llama-server.exe -m <model> -ngl 99 -fa 1 -ctk q8_0 -ctv q8_0 -c 40000
kvarn6 (regression):
llama-server.exe -m <model> -ngl 99 -fa 1 -ctk kvarn6 -ctv kvarn6 -c 40000
System Information
- GPU: AMD Radeon RX 7900 XTX (24 GB VRAM)
- CPU: AMD Ryzen 9 7900X 12-Core
- RAM: 64 GB
- OS: Windows
- Backend: ROCm (HIP), NO_VMM = 1
- Build: 11192 (ee8754c57) with Clang 20.1.8 for Windows x86_64
- Model: Qwen3.6-27B-Fable-Fusion (Q4_K_M, 65 layers, 27.32B params, 17.22 GiB)
Relevant Log Excerpts
q8_0 performance:
prompt processing, n_tokens = 10410, progress = 1.00, t = 11.93 s / 872.56 tokens per second
prompt eval time = 12681.67 ms / 10414 tokens (1.22 ms per token, 821.19 tokens per second)
eval time = 73468.79 ms / 2169 tokens (33.87 ms per token, 29.52 tokens per second)
kvarn6 performance (run canceled after ~5.5 minutes):
prompt processing, n_tokens = 10410, progress = 1.00, t = 193.54 s / 53.79 tokens per second
n_decoded = 144, tg = 1.34 t/s
Expected Behavior
kvarn6 should provide competitive or better performance than q8_0 while using less VRAM, or at least not be an order of magnitude slower.
Actual Behavior
kvarn6 is 15-22x slower than q8_0 on ROCm hardware, making it impractical for use.
Additional Notes
- This appears to be ROCm-specific; the kvarn6 implementation may not be optimized for AMD GPUs
- The issue affects both prompt processing and token generation equally severely
- The kvarn6 run was manually canceled due to excessive runtime; actual degradation may be even more severe over longer generations
- Full log level 5 logs for both q8_0 and kvarn6 runs are attached to this issue
- Lenguaje dominante
- C++
- Estrellas
- 1.2k
- Forks
- 80
- Merge medio
- 4 d 20 h
- PR fusionados (30 d)
- 2
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de Anbeeld/beellama.cpp
-
[BUG] KVarN assertion failure in build_inp_mem_hybrid_iswa() due to uninitialized self_kvarn_rotAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
Anbeeld/beellama.cpp#205 ·
-
Dificultad 3/5 Medio día Aptitud para principiantes 58/100
Anbeeld/beellama.cpp#206 ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 57/100
Anbeeld/beellama.cpp#204 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 45/100
Anbeeld/beellama.cpp#203 · 2 comentarios ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 45/100
Anbeeld/beellama.cpp#202 · 1 comentario ·
Todos los issues de Anbeeld/beellama.cpp
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
CachyOS/packageinstaller#144 ·
Los mantenedores suelen responder en 1 día
-
documentation
Dificultad 1/5 Menos de una hora Aptitud para principiantes 82/100
TomerAberbach/profiler-md#951 ·
Los mantenedores suelen responder en 1 día
-
[Bug] Default key routing (JavaStringHash) picks a different partition than the Java client for about half of keysPosiblemente ocupada @0z5a la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
apache/pulsar-client-go#1575 ·
Los mantenedores suelen responder en 2 días
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
pocoproject/poco#5764 ·
Los mantenedores suelen responder en 2 días
-
bug cpp-core-guidelines low-priority
Dificultad 2/5 1-3 horas Aptitud para principiantes 62/100
NatronGitHub/openfx-supportext#164 ·
Los mantenedores suelen responder en 1 día