Metal installation documentation

未关闭适合新手

#1,968 创建于 2025年3月9日 0 条评论 3 个 reaction 已指派 0 人在 GitHub 查看

还没有人认领这个 Issue。

评估

难度: 1/5
预计耗时: 1 小时以内
新手友好度: 80/100

Issue 类型: 文档
描述清晰度: 描述清楚
活跃度: 停滞
技术栈: python
领域: documentation

调研方向

检查 llama-cpp-python 当前的安装文档，可能位于 README.md 或 docs/install.md 中。验证在最新版本中，macOS 上是否确实默认启用了 Metal 后端。与 Issue 中链接的 llama.cpp 上游文档进行比较。更新文档，明确说明 Metal 支持可能不再需要 CMAKE_ARGS 环境变量。

由索引模型根据 Issue 内容生成。

描述

I tried setting up llama-cpp-python in the current version 0.3.7 on my MacBook M4 Pro.
In the first step I only installed via pip install llama-cpp-python --no-cache-dir without specifiying the environment variable for Metal backend support.
I set the n_gpu_layers to -1 to fully use the GPU.

The interesting thing is the GPU was used even without having to install the Metal backend support as stated in the current documentation. I double checked this with a fresh start and explicitely setting the CMAKE_ARGS env variable and did not see and difference in terms of performance or GPU usage.

This is pretty handy, because when not using pip for dependency management (e.g. poetry) passing the environment variable did not work on my side.

Maybe the documentation should be updated to state that the env arguments are no longer required? This would also reflect the documentation in https://github.com/ggml-org/llama.cpp/blob/master/docs/build.md#metal-build where it states that: "On MacOS, Metal is enabled by default"

This would also mean, that custom pre-built wheels are no longer required as well.

主要语言: Python
星标: 10.6k
派生: 1.5k
平均合并: 6 小时 43 分钟
30 天内合并 PR: 2

贡献指南

打开贡献指南

从这里开始

先读完整个 Issue，再读项目的贡献指南。
在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
Fork 仓库，在一个分支上完成修改。
提交 Pull Request，并在描述里引用这个 Issue 编号。

abetlen/llama-cpp-python 的其他 Issue

Seven llama_sampler_init_* bindings admit keyword arguments that the ctypes function object silently drops 未关闭

难度 2/5 1-3 小时新手友好度 88/100

abetlen/llama-cpp-python#2371 · 2026年9月22日创建
uv add llama-cpp-python wheels fails for versions above 0.3.30 未关闭

难度 2/5 1-3 小时新手友好度 65/100

abetlen/llama-cpp-python#2352 · 2026年7月31日创建
Docs: consolidate build-from-source and GPU backend guide 未关闭

难度 2/5 1-3 小时新手友好度 75/100

abetlen/llama-cpp-python#2314 · 2026年6月19日创建
Llama.embed() calls LlamaBatch.add_sequence with old 3-arg signature; missing logits_array 未关闭

难度 2/5 1-3 小时新手友好度 65/100

abetlen/llama-cpp-python#2211 · 2 条评论 · 2026年5月9日创建
Llama() silently accepts and discards `embedding` kwarg; .embed() then raises confusingly 未关闭

难度 2/5 1-3 小时新手友好度 65/100

abetlen/llama-cpp-python#2210 · 2026年5月9日创建

查看 abetlen/llama-cpp-python 的全部 Issue

相似的 Issue

validate-structure inspecte challenge/work/.terraform et rend faux les labs qui ont un provider en cache 未关闭

bug

难度 2/5 1-3 小时新手友好度 75/100

stephrobert/dsoxlab#238 · 2026年9月24日创建
Uniform probability densities use the upper bound as an interval width 未关闭

难度 2/5 1-3 小时新手友好度 75/100

nasa/fmdtools#40 · 2026年9月24日创建
_common_folder() treats a single file as the common folder; single-file archives can't be installed (4.2.8) / crash (master) 未关闭

难度 2/5 1-3 小时新手友好度 75/100

sublimehq/package_control#1780 · 2026年9月24日创建
Set 'Sample' input in 'autorun.py' to utilize 'Sample' Tab in eLog 未关闭

难度 2/5 1-3 小时新手友好度 65/100

pcdshub/mfx#309 · 2 条评论 · 2026年9月24日创建
niri config file addition does not respect existing optional include 未关闭

难度 2/5 1-3 小时新手友好度 70/100

nwg-piotr/nwg-displays#145 · 2026年9月24日创建

更多 Python Issue

精选适合新手参与的 GitHub issue 摘要。