Up to date llama.cpp wheel here (native libraries)
Mantenedores costumam responder em até 1 dia
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 4/5
- Tempo estimado
- 3-5 dias
- Facilidade para iniciantes
- 35/100
- Tipo de issue
- Funcionalidade
- Clareza
- Razoavelmente clara
- Status de atividade
- Estagnada
- Domínio
- ai-infra-agents, backend, tooling
Direção de pesquisa
A issue aponta para um repositório externo que fornece wheels pré-compiladas do llama.cpp. Para integrar, examine o sistema de build e o empacotamento do llama-cpp-python (provavelmente em setup.py ou pyproject.toml) para entender como as bibliotecas nativas são tratadas atualmente. Determine como incorporar essas wheels pré-compiladas como uma dependência opcional ou como alternativa à compilação a partir do código-fonte. Verifique as issues ou a documentação existentes sobre distribuição de binários e compatibilidade entre plataformas (Linux/Windows/macOS).
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
Hi! I made a repo mdjou/lcpp-lib-python with automatic up to date wheels of llama.cpp native libraries.
Currently I provide linux-x64 vulkan wheels, but I can add other flavors and OS'es if there is demand - please open issues in my repo.
Update: windows-x64-vulkan, linux-x64-vulkan, and macos-arm64-metal are now available.
Note: It is not a replacement of llama-cpp-python, it is intentionally a bare-bones repackage of upstream releases of llama.cpp with minimal lag.
You can use it as a dependency to make your own bindings, without having to worry about native compilation and correct packaging of binaries.
- Linguagem predominante
- Python
- Estrelas
- 10.7k
- Forks
- 1.5k
- Merge médio
- 1h 40min
- PRs com merge (30d)
- 5
Preparar o ambiente
- Sem Dockerfile nem arquivo Docker Compose
- Sem modelo de pull request
- Ler o guia de contribuição
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de abetlen/llama-cpp-python
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
abetlen/llama-cpp-python#2424 ·
Mantenedores costumam responder em até 1 dia
-
Seven llama_sampler_init_* bindings admit keyword arguments that the ctypes function object silently dropsTalvez já em andamento @Belal0066 assumiu há 59 dias. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 88/100
abetlen/llama-cpp-python#2371 ·
Mantenedores costumam responder em até 1 dia
-
uv add llama-cpp-python wheels fails for versions above 0.3.30Talvez já em andamento Um pull request vinculado a esta issue está aberto ou já foi mesclado. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 65/100
abetlen/llama-cpp-python#2352 · 1 comentário · 3 reações ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 75/100
abetlen/llama-cpp-python#2314 ·
Mantenedores costumam responder em até 1 dia
-
Llama.embed() calls LlamaBatch.add_sequence with old 3-arg signature; missing logits_arrayTalvez livre de novo @lxcxjxhx assumiu há 136 dias e não há nenhum pull request aberto. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 65/100
abetlen/llama-cpp-python#2211 · 2 comentários ·
Mantenedores costumam responder em até 1 dia
Todas as issues de abetlen/llama-cpp-python
Issues semelhantes
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 64/100
Mantenedores costumam responder em até 1 dia
-
Harden tools/pr_threads.sh: pass all printed thread fields through the deterministic sanitizerAbertaarea:cli area:security enhancement priority:medium size:small
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 76/100
RonaldHensbergen/composable-data-stack#1338 ·
Mantenedores costumam responder em até 1 dia
-
area:stdlib effort:S impact:med platform:linux type:bug
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 84/100
Mantenedores costumam responder em até 1 dia
-
automated endpoint-dead needs-curation
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 76/100
almanac-data/climate-almanac#139 ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 82/100
UKGovernmentBEIS/inspect_ai#6695 · 1 comentário ·
Mantenedores costumam responder em até 1 dia