Feature Request: VULKAN CODE PATCH
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Anfängerfreundlichkeit
- 28/100
- Issue-Typ
- Feature
- Klarheit
- Größtenteils klar
- Aktivitätsstatus
- Ruhig
- Tech-Stack
- cpp, machine-learning
- Bereich
- performance
Rechercherichtung
The proposed change touches ggml/src/ggml-vulkan/ggml-vulkan.cpp, specifically the disable_host_visible_vidmem default for discrete AMD GPUs and the MUL_MAT_VEC workgroup tuning. Start by reproducing the slow decode on RDNA hardware with a Vulkan build and comparing against the attached patch. Done would mean a measured, verified speedup that does not regress other GPUs. The patch itself is unreviewed, so confirm the approach with maintainers before writing code.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
Prerequisites
- I am running the latest code. Mention the version if possible as well.
- I carefully followed the README.md.
- I searched using keywords relevant to my issue to make sure that I am creating a new issue that is not already open (or closed).
- I reviewed the Discussions, and have a new and useful enhancement to share.
Feature Description
I was fiddling with the Vulkan issues on rx9070 xt and it was giving me 4 - 5 TG/s .
here is a patch i had for llama.cpp earlier.. i used it to adapt and fix the beellama.cpp.
Vulkan Performance Fix for AMD RDNA2/3/4 (RX 9070 XT and similar)
Issue: AMD RX 9070 XT (RDNA4/gfx1201) was getting only ~5 t/s decode speed on Qwen3-8B-Q4_K_M via Vulkan backend.
Root cause: AMD's proprietary Vulkan driver incorrectly reports host-visible device memory support on discrete GPUs. Without REBAR enabled, accessing host-visible VRAM from GPU is extremely slow, creating a severe bottleneck in MUL_MAT_VEC operations during decode (output projection layer).
Fix: Force device-local memory allocation by default for AMD RDNA2/RDNA3/RDNA4 discrete GPUs, bypassing the slow host-visible path.
Results: 5.4 t/s → 89-90 t/s decode (16.5x improvement), 355 t/s → 1617 t/s prompt processing (4.5x improvement).
Changes in ggml/src/ggml-vulkan/ggml-vulkan.cpp:
- Added AMD_RDNA4 architecture detection (API version 1.4, device ID 0x7550)
- Disabled KHR_coopmat for RDNA4 (has WMMA, not cooperative matrices)
- Added RDNA4 to pipeline configs and row management optimizations
- Added AMD-specific MUL_MAT_VEC workgroup size tuning
- Set disable_host_visible_vidmem = true by default for discrete AMD RDNA GPUs
vulkan-amd-rdna4-perf-fix.patch
Motivation
Vulkan was performing really bad. I am working on fixing the PP and TG more
Possible Implementation
No response
- Vorherrschende Sprache
- C++
- Sterne
- 1.2k
- Forks
- 80
- Ø Merge
- 4 T. 20 Std.
- Gemergte PRs (30 T.)
- 2
Entwicklungsumgebung
Dieses Projekt bietet weder Dev-Container noch Dockerfile noch Beitragsleitfaden – die Einrichtung liegt bei Ihnen. Beginnen Sie mit der README; die allgemeinen Schritte stehen in unserem Leitfaden für den ersten Beitrag.
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus Anbeeld/beellama.cpp
-
[BUG] KVarN assertion failure in build_inp_mem_hybrid_iswa() due to uninitialized self_kvarn_rotOffen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100
Anbeeld/beellama.cpp#205 ·
-
Schwierigkeit 3/5 Ein halber Tag Anfängerfreundlichkeit 58/100
Anbeeld/beellama.cpp#206 ·
-
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 57/100
Anbeeld/beellama.cpp#204 ·
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 45/100
Anbeeld/beellama.cpp#203 · 2 Kommentare ·
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 45/100
Anbeeld/beellama.cpp#202 · 1 Kommentar ·
Alle Issues in Anbeeld/beellama.cpp
Ähnliche Issues
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
CachyOS/packageinstaller#144 ·
Maintainer antworten meist innerhalb von 1 Tag
-
documentation
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 82/100
TomerAberbach/profiler-md#951 ·
Maintainer antworten meist innerhalb von 1 Tag
-
[Bug] Default key routing (JavaStringHash) picks a different partition than the Java client for about half of keysEvtl. vergeben @0z5a hat das heute übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 82/100
apache/pulsar-client-go#1575 ·
Maintainer antworten meist innerhalb von 2 Tagen
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
pocoproject/poco#5764 ·
Maintainer antworten meist innerhalb von 2 Tagen
-
bug cpp-core-guidelines low-priority
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 62/100
NatronGitHub/openfx-supportext#164 ·
Maintainer antworten meist innerhalb von 1 Tag