Up to date llama.cpp wheel here (native libraries)

Offen
#2,123 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Maintainer antworten meist innerhalb von 1 Tag

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Anfängerfreundlichkeit
35/100
Issue-Typ
Feature
Klarheit
Größtenteils klar
Aktivitätsstatus
Veraltet
Tech-Stack
c, python

Rechercherichtung

Das Issue verweist auf ein externes Repository, das vorgefertigte llama.cpp-Wheels bereitstellt. Untersuche zur Integration das Build-System und die Paketierung von llama-cpp-python (wahrscheinlich in setup.py oder pyproject.toml), um zu verstehen, wie native Bibliotheken derzeit behandelt werden. Ermittle, wie diese vorgefertigten Wheels als optionale Abhängigkeit oder als Alternative zur Kompilierung aus dem Quellcode eingebunden werden können. Prüfe vorhandene Issues oder Dokumentation zur Binärdistribution und zur Kompatibilität über Plattformen hinweg (Linux/Windows/macOS).

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

Hi! I made a repo mdjou/lcpp-lib-python with automatic up to date wheels of llama.cpp native libraries.
Currently I provide linux-x64 vulkan wheels, but I can add other flavors and OS'es if there is demand - please open issues in my repo.
Update: windows-x64-vulkan, linux-x64-vulkan, and macos-arm64-metal are now available.

Note: It is not a replacement of llama-cpp-python, it is intentionally a bare-bones repackage of upstream releases of llama.cpp with minimal lag.

You can use it as a dependency to make your own bindings, without having to worry about native compilation and correct packaging of binaries.

Vorherrschende Sprache
Python
Sterne
10.7k
Forks
1.5k
Ø Merge
1 Std. 40 Min.
Gemergte PRs (30 T.)
5

Entwicklungsumgebung

Erste Schritte

  1. Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
  3. Forken Sie das Repository und arbeiten Sie in einem Branch.
  4. Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus abetlen/llama-cpp-python

Alle Issues in abetlen/llama-cpp-python

Ähnliche Issues

Weitere Issues zu Python

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.