Up to date llama.cpp wheel here (native libraries)

未關閉
#2,123 0 則留言 0 個 reaction 已指派 0 人 在 GitHub 檢視

維護者通常 1 天內回覆

還沒有人認領這個 Issue。

評估

難度
4/5
預估耗時
3-5 天
新手友好度
35/100
Issue 類型
功能
描述清晰度
基本清楚
活躍度
停滯
技術堆疊
c, python

研究方向

該 issue 連結到一個提供預先建置 llama.cpp wheels 的外部 repository。為了進行整合,請檢查 llama-cpp-python 的建置系統與封裝方式(可能位於 setup.py 或 pyproject.toml 中),以了解目前如何處理原生函式庫。確認如何將這些預先建置的 wheels 作為選用相依性,或作為從原始碼編譯的替代方案整合進來。檢查現有的 issue 或文件,了解二進位檔散佈以及跨平台相容性(Linux/Windows/macOS)。

由索引模型根據 Issue 內容生成。

描述

Hi! I made a repo mdjou/lcpp-lib-python with automatic up to date wheels of llama.cpp native libraries.
Currently I provide linux-x64 vulkan wheels, but I can add other flavors and OS'es if there is demand - please open issues in my repo.
Update: windows-x64-vulkan, linux-x64-vulkan, and macos-arm64-metal are now available.

Note: It is not a replacement of llama-cpp-python, it is intentionally a bare-bones repackage of upstream releases of llama.cpp with minimal lag.

You can use it as a dependency to make your own bindings, without having to worry about native compilation and correct packaging of binaries.

主要語言
Python
星號
10.7k
分支
1.5k
平均合併
1 小時 40 分鐘
30 天內合併 PR
5

環境準備

  • 沒有 Dockerfile 或 Docker Compose 檔案
  • 沒有 Pull Request 範本
  • 閱讀貢獻指南

從這裡開始

  1. 先讀完整個 Issue,再讀專案的貢獻指南。
  2. 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
  3. Fork 儲存庫,在一個分支上完成修改。
  4. 送出 Pull Request,並在描述裡引用這個 Issue 編號。

abetlen/llama-cpp-python 的其他 Issue

查看 abetlen/llama-cpp-python 的全部 Issue

相似的 Issue

更多 Python Issue

把新 issue 寄到你的電子郵件信箱

精選適合新手參與的 GitHub issue 摘要。