Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Docs: consolidate build-from-source and GPU backend guide

Đang mở Phù hợp với người mới
#2,314 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
2/5
Thời gian dự kiến
1-3 giờ
Mức phù hợp với người mới
75/100
Loại issue
Tài liệu
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Ít trao đổi
Công nghệ
cmake, python

Hướng nghiên cứu

Issue này chỉ ra việc hợp nhất tài liệu build, có thể trong docs/build.md hoặc một tệp mới docs/gpu.md. Hãy bắt đầu bằng cách xem xét README hiện có, CONTRIBUTING.md và các issue GitHub được liên kết (#2013, #695, #721, #756) để hiểu thông tin hiện đang bị phân tán. Sau đó, tạo một bảng rõ ràng về CMAKE_ARGS cho từng backend GPU và thêm các bước khắc phục sự cố cho lỗi phổ biến. Xác minh các thay đổi bằng cách build dự án với một backend GPU để đảm bảo hướng dẫn hoạt động.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Problem

The build-from-source documentation is spread across README, CONTRIBUTING.md, and many GitHub issues (e.g. #2013, #695, #721, #756). Users with newer GPUs (RTX 50-series, sm_120) or uncommon CUDA versions repeatedly hit the same build failures because the docs lack:

  1. A CMAKE_ARGS mapping table showing which flag to set for each GPU backend
  2. CUDA version compatibility notes (e.g., CUDA 12.9+ requires specific cmake workarounds)
  3. The minimum/maximum supported CUDA toolkit versions
  4. How to verify the build actually used the GPU (simple Python snippet to check backend)

Suggested improvements

In docs/build.md (or a new docs/gpu.md):

| Backend | CMAKE_ARGS                                    | GPU Requirements              |
|---------|-----------------------------------------------|-------------------------------|
| CUDA    | -DGGML_CUDA=ON                                | NVIDIA GPU, CUDA >= 11.3      |
| Metal   | -DGGML_METAL=ON (default on macOS)            | Apple Silicon or AMD GPU      |
| Vulkan  | -DGGML_VULKAN=ON                              | Vulkan 1.2+ capable GPU       |
| SYCL    | -DGGML_SYCL=ON -DGGML_SYCL_TARGET=INTEL       | Intel Arc / Iris Xe           |
| HIP     | -DGGML_HIPBLAS=ON                             | AMD ROCm-compatible GPU       |

And a troubleshooting section for the most common build errors (CMake not finding CUDA, nvcc version mismatch, sm_120 not recognized).

Value

Consolidating this reduces the "can't install with GPU" issues that currently fill the tracker.

Ngôn ngữ chính
Python
Star
10.6k
Fork
1.5k
Merge trung bình
6 giờ 43 phút
Pull request đã merge (30 ngày)
2

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của abetlen/llama-cpp-python

Tất cả issue của abetlen/llama-cpp-python

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.