[Deployment Issue] Installation deadlock on Hugging Face Spaces (CPU): Wheels fail (musl/glibc mismatch) & Source builds timeout
Mantenedores costumam responder em até 1 dia
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 4/5
- Tempo estimado
- 3-5 dias
- Facilidade para iniciantes
- 35/100
Direção de pesquisa
A issue trata da implantação no Hugging Face Spaces. Examine os padrões de Dockerfile no repositório, especialmente a imagem oficial em ghcr.io/abetlen/llama-cpp-python. Analise os scripts de build e as configurações de CI para entender como os wheels são compilados para diferentes plataformas. Verifique se já existem Dockerfiles para ambientes CPU-only. O objetivo é produzir um Dockerfile funcional que evite wheels musl e seja compilado dentro dos limites de tempo.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
System Info
Platform: Hugging Face Spaces (Docker / CPU Basic Tier)
Base Image: python:3.10-slim (Debian Bookworm)
Goal: Deploy OpenAI-compatible server for a GGUF model.
Description I am unable to deploy llama-cpp-python on a CPU-only Docker environment (Hugging Face Spaces). I have attempted three distinct installation methods, all of which fail.
Describe the solution you'd like
Is there a recommended Docker pattern for Debian-based CPU-only deployments that avoids the musl wheel issue but does not require a full source compilation?
Describe alternatives you've considered
Attempt 1: Pre-built Wheels (Architecture Mismatch) I attempted to install using the CPU-specific extra index URL to avoid compilation time.
Dockerfile:
RUN apt-get update && apt-get install -y build-essential cmake gcc
RUN pip install llama-cpp-python \
--prefer-binary \
--extra-index-url https://abetlen.github.io/llama-cpp-python/whl/cpu
Error: The installer pulls a wheel that requires musl, causing a runtime crash on Debian.
OSError: libc.musl-x86_64.so.1: cannot open shared object file: No such file or directory
Attempt 2: Official Docker Image I attempted to use the official image to avoid installation steps entirely. Dockerfile:
FROM ghcr.io/abetlen/llama-cpp-python:latest...
Error: The server fails to start, unable to load the shared library (likely due to GPU/CUDA dependencies in :latest or pathing issues).
FileNotFoundError: Shared library with base name 'llama' not found
Attempt 3: Build from Source I attempted to build from source to ensure correct architecture. Dockerfile:
ENV CMAKE_ARGS="-DGGML_CUDA=off"
RUN pip install llama-cpp-python --no-cache-dir
Error: The build process hits the Hugging Face Spaces timeout limit (hard limit) during the wheel building phase.
Building wheel for llama-cpp-python (pyproject.toml): started
... [Process limits out / Times out]```
- Linguagem predominante
- Python
- Estrelas
- 10.7k
- Forks
- 1.5k
- Merge médio
- 1h 40min
- PRs com merge (30d)
- 5
Preparar o ambiente
- Sem Dockerfile nem arquivo Docker Compose
- Sem modelo de pull request
- Ler o guia de contribuição
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de abetlen/llama-cpp-python
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
abetlen/llama-cpp-python#2424 ·
Mantenedores costumam responder em até 1 dia
-
Seven llama_sampler_init_* bindings admit keyword arguments that the ctypes function object silently dropsTalvez já em andamento @Belal0066 assumiu há 59 dias. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 88/100
abetlen/llama-cpp-python#2371 ·
Mantenedores costumam responder em até 1 dia
-
uv add llama-cpp-python wheels fails for versions above 0.3.30Talvez já em andamento Um pull request vinculado a esta issue está aberto ou já foi mesclado. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 65/100
abetlen/llama-cpp-python#2352 · 1 comentário · 3 reações ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 75/100
abetlen/llama-cpp-python#2314 ·
Mantenedores costumam responder em até 1 dia
-
Llama.embed() calls LlamaBatch.add_sequence with old 3-arg signature; missing logits_arrayTalvez livre de novo @lxcxjxhx assumiu há 136 dias e não há nenhum pull request aberto. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 65/100
abetlen/llama-cpp-python#2211 · 2 comentários ·
Mantenedores costumam responder em até 1 dia
Todas as issues de abetlen/llama-cpp-python
Issues semelhantes
-
Bug IronPython Python 3
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
pyrevitlabs/pyRevit#4184 ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 74/100
jqueryscript/awesome-claude-code#1009 ·
-
tests
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 66/100
Mantenedores costumam responder em até 3 dias
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
Mantenedores costumam responder em até 1 dia
-
[Plugin] 群聊记忆 · 人格养成Aberta
Dificuldade 1/5 1-3 horas Facilidade para iniciantes 74/100