Metal installation documentation

Offen Anfängerfreundlich

#1,968 erstellt am 09.3.2025 0 Kommentare 3 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit: 1/5
Geschätzter Aufwand: Unter einer Stunde
Anfängerfreundlichkeit: 80/100

Issue-Typ: Dokumentation
Klarheit: Klar beschrieben
Aktivitätsstatus: Veraltet
Tech-Stack: python
Bereich: documentation

Rechercherichtung

Prüfe die aktuelle Installationsdokumentation für llama-cpp-python, wahrscheinlich in README.md oder docs/install.md. Verifiziere, ob das Metal-Backend in der neuesten Version unter macOS tatsächlich standardmäßig aktiviert ist. Vergleiche dies mit der im Issue verlinkten Dokumentation von llama.cpp. Aktualisiere die Dokumentation, um klarzustellen, dass die Umgebungsvariable CMAKE_ARGS für die Metal-Unterstützung möglicherweise nicht mehr erforderlich ist.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

I tried setting up llama-cpp-python in the current version 0.3.7 on my MacBook M4 Pro.
In the first step I only installed via pip install llama-cpp-python --no-cache-dir without specifiying the environment variable for Metal backend support.
I set the n_gpu_layers to -1 to fully use the GPU.

The interesting thing is the GPU was used even without having to install the Metal backend support as stated in the current documentation. I double checked this with a fresh start and explicitely setting the CMAKE_ARGS env variable and did not see and difference in terms of performance or GPU usage.

This is pretty handy, because when not using pip for dependency management (e.g. poetry) passing the environment variable did not work on my side.

Maybe the documentation should be updated to state that the env arguments are no longer required? This would also reflect the documentation in https://github.com/ggml-org/llama.cpp/blob/master/docs/build.md#metal-build where it states that: "On MacOS, Metal is enabled by default"

This would also mean, that custom pre-built wheels are no longer required as well.

Vorherrschende Sprache: Python
Sterne: 10.6k
Forks: 1.5k
Ø Merge: 23 Min.
Gemergte PRs (30 T.): 1

Beitragsleitfaden

Beitragsleitfaden öffnen

Erste Schritte

Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
Forken Sie das Repository und arbeiten Sie in einem Branch.
Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus abetlen/llama-cpp-python

uv add llama-cpp-python wheels fails for versions above 0.3.30 Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 65/100

abetlen/llama-cpp-python#2352 · Erstellt am 31.7.2026
Llama.embed() calls LlamaBatch.add_sequence with old 3-arg signature; missing logits_array Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 65/100

abetlen/llama-cpp-python#2211 · 2 Kommentare · Erstellt am 09.5.2026
Llama() silently accepts and discards `embedding` kwarg; .embed() then raises confusingly Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 65/100

abetlen/llama-cpp-python#2210 · Erstellt am 09.5.2026
Improve error messages Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 65/100

abetlen/llama-cpp-python#2145 · Erstellt am 22.3.2026
📋 Documentation Enhancement Suggestion Offen

Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 75/100

abetlen/llama-cpp-python#2135 · 4 Reaktionen · Erstellt am 06.3.2026

Alle Issues in abetlen/llama-cpp-python