Up to date llama.cpp wheel here (native libraries)

Aberta
#2,123 0 comentários 0 reações 0 responsáveis Ver no GitHub

Mantenedores costumam responder em até 1 dia

Ninguém assumiu esta issue ainda.

Avaliação

Dificuldade
4/5
Tempo estimado
3-5 dias
Facilidade para iniciantes
35/100
Tipo de issue
Funcionalidade
Clareza
Razoavelmente clara
Status de atividade
Estagnada
Stack de tecnologia
c, python

Direção de pesquisa

A issue aponta para um repositório externo que fornece wheels pré-compiladas do llama.cpp. Para integrar, examine o sistema de build e o empacotamento do llama-cpp-python (provavelmente em setup.py ou pyproject.toml) para entender como as bibliotecas nativas são tratadas atualmente. Determine como incorporar essas wheels pré-compiladas como uma dependência opcional ou como alternativa à compilação a partir do código-fonte. Verifique as issues ou a documentação existentes sobre distribuição de binários e compatibilidade entre plataformas (Linux/Windows/macOS).

Escrita pelo modelo de indexação a partir do texto da issue.

Descrição

Hi! I made a repo mdjou/lcpp-lib-python with automatic up to date wheels of llama.cpp native libraries.
Currently I provide linux-x64 vulkan wheels, but I can add other flavors and OS'es if there is demand - please open issues in my repo.
Update: windows-x64-vulkan, linux-x64-vulkan, and macos-arm64-metal are now available.

Note: It is not a replacement of llama-cpp-python, it is intentionally a bare-bones repackage of upstream releases of llama.cpp with minimal lag.

You can use it as a dependency to make your own bindings, without having to worry about native compilation and correct packaging of binaries.

Linguagem predominante
Python
Estrelas
10.7k
Forks
1.5k
Merge médio
1h 40min
PRs com merge (30d)
5

Preparar o ambiente

Primeiros passos

  1. Leia a issue inteira e depois o guia de contribuição do projeto.
  2. Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
  3. Faça um fork do repositório e trabalhe em uma branch.
  4. Abra um pull request que referencie o número da issue.

Mais de abetlen/llama-cpp-python

Todas as issues de abetlen/llama-cpp-python

Issues semelhantes

Mais issues de Python

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.