[Deployment Issue] Installation deadlock on Hugging Face Spaces (CPU): Wheels fail (musl/glibc mismatch) & Source builds timeout
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 35/100
Hướng nghiên cứu
Issue này liên quan đến việc triển khai trên Hugging Face Spaces. Hãy xem xét các mẫu Dockerfile trong repository, đặc biệt là image chính thức tại ghcr.io/abetlen/llama-cpp-python. Xem các script build và cấu hình CI để hiểu cách wheel được build cho các nền tảng khác nhau. Kiểm tra xem đã có Dockerfile cho các môi trường CPU-only hay chưa. Mục tiêu là tạo ra một Dockerfile hoạt động được, tránh các wheel musl và build trong giới hạn thời gian.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
System Info
Platform: Hugging Face Spaces (Docker / CPU Basic Tier)
Base Image: python:3.10-slim (Debian Bookworm)
Goal: Deploy OpenAI-compatible server for a GGUF model.
Description I am unable to deploy llama-cpp-python on a CPU-only Docker environment (Hugging Face Spaces). I have attempted three distinct installation methods, all of which fail.
Describe the solution you'd like
Is there a recommended Docker pattern for Debian-based CPU-only deployments that avoids the musl wheel issue but does not require a full source compilation?
Describe alternatives you've considered
Attempt 1: Pre-built Wheels (Architecture Mismatch) I attempted to install using the CPU-specific extra index URL to avoid compilation time.
Dockerfile:
RUN apt-get update && apt-get install -y build-essential cmake gcc
RUN pip install llama-cpp-python \
--prefer-binary \
--extra-index-url https://abetlen.github.io/llama-cpp-python/whl/cpu
Error: The installer pulls a wheel that requires musl, causing a runtime crash on Debian.
OSError: libc.musl-x86_64.so.1: cannot open shared object file: No such file or directory
Attempt 2: Official Docker Image I attempted to use the official image to avoid installation steps entirely. Dockerfile:
FROM ghcr.io/abetlen/llama-cpp-python:latest...
Error: The server fails to start, unable to load the shared library (likely due to GPU/CUDA dependencies in :latest or pathing issues).
FileNotFoundError: Shared library with base name 'llama' not found
Attempt 3: Build from Source I attempted to build from source to ensure correct architecture. Dockerfile:
ENV CMAKE_ARGS="-DGGML_CUDA=off"
RUN pip install llama-cpp-python --no-cache-dir
Error: The build process hits the Hugging Face Spaces timeout limit (hard limit) during the wheel building phase.
Building wheel for llama-cpp-python (pyproject.toml): started
... [Process limits out / Times out]```
- Ngôn ngữ chính
- Python
- Star
- 10.7k
- Fork
- 1.5k
- Merge trung bình
- 1 giờ 40 phút
- Pull request đã merge (30 ngày)
- 5
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Không có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của abetlen/llama-cpp-python
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
abetlen/llama-cpp-python#2424 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Seven llama_sampler_init_* bindings admit keyword arguments that the ctypes function object silently dropsCó thể đã có người làm @Belal0066 đã nhận 59 ngày trước. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
abetlen/llama-cpp-python#2371 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
uv add llama-cpp-python wheels fails for versions above 0.3.30Có thể đã có người làm Có pull request liên kết đang mở hoặc đã được merge. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100
abetlen/llama-cpp-python#2352 · 1 bình luận · 3 reaction ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
abetlen/llama-cpp-python#2314 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Llama.embed() calls LlamaBatch.add_sequence with old 3-arg signature; missing logits_arrayCó thể làm lại được @lxcxjxhx đã nhận 136 ngày trước và không có pull request nào đang mở. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100
abetlen/llama-cpp-python#2211 · 2 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của abetlen/llama-cpp-python
Issue tương tự
-
Bug IronPython Python 3
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
pyrevitlabs/pyRevit#4184 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
CLAW (Agents & Orchestration)Đang mở
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 74/100
jqueryscript/awesome-claude-code#1009 ·
-
tests
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 66/100
Maintainer thường phản hồi trong vòng 3 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
Maintainer thường phản hồi trong vòng 1 ngày
-
[Plugin] 群聊记忆 · 人格养成Đang mở
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 74/100