Up to date llama.cpp wheel here (native libraries)
維護者通常 1 天內回覆
還沒有人認領這個 Issue。
評估
- 難度
- 4/5
- 預估耗時
- 3-5 天
- 新手友好度
- 35/100
- Issue 類型
- 功能
- 描述清晰度
- 基本清楚
- 活躍度
- 停滯
研究方向
該 issue 連結到一個提供預先建置 llama.cpp wheels 的外部 repository。為了進行整合,請檢查 llama-cpp-python 的建置系統與封裝方式(可能位於 setup.py 或 pyproject.toml 中),以了解目前如何處理原生函式庫。確認如何將這些預先建置的 wheels 作為選用相依性,或作為從原始碼編譯的替代方案整合進來。檢查現有的 issue 或文件,了解二進位檔散佈以及跨平台相容性(Linux/Windows/macOS)。
由索引模型根據 Issue 內容生成。
描述
Hi! I made a repo mdjou/lcpp-lib-python with automatic up to date wheels of llama.cpp native libraries.
Currently I provide linux-x64 vulkan wheels, but I can add other flavors and OS'es if there is demand - please open issues in my repo.
Update: windows-x64-vulkan, linux-x64-vulkan, and macos-arm64-metal are now available.
Note: It is not a replacement of llama-cpp-python, it is intentionally a bare-bones repackage of upstream releases of llama.cpp with minimal lag.
You can use it as a dependency to make your own bindings, without having to worry about native compilation and correct packaging of binaries.
- 主要語言
- Python
- 星號
- 10.7k
- 分支
- 1.5k
- 平均合併
- 1 小時 40 分鐘
- 30 天內合併 PR
- 5
環境準備
- 沒有 Dockerfile 或 Docker Compose 檔案
- 沒有 Pull Request 範本
- 閱讀貢獻指南
從這裡開始
- 先讀完整個 Issue,再讀專案的貢獻指南。
- 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
- Fork 儲存庫,在一個分支上完成修改。
- 送出 Pull Request,並在描述裡引用這個 Issue 編號。
abetlen/llama-cpp-python 的其他 Issue
-
難度 2/5 1-3 小時 新手友好度 78/100
abetlen/llama-cpp-python#2424 ·
維護者通常 1 天內回覆
-
Seven llama_sampler_init_* bindings admit keyword arguments that the ctypes function object silently drops可能已有人在做 @Belal0066 於 59 天前認領。 未關閉
難度 2/5 1-3 小時 新手友好度 88/100
abetlen/llama-cpp-python#2371 ·
維護者通常 1 天內回覆
-
uv add llama-cpp-python wheels fails for versions above 0.3.30可能已有人在做 關聯的 PR 仍在進行中或已合併。 未關閉
難度 2/5 1-3 小時 新手友好度 65/100
abetlen/llama-cpp-python#2352 · 1 則留言 · 3 個 reaction ·
維護者通常 1 天內回覆
-
難度 2/5 1-3 小時 新手友好度 75/100
abetlen/llama-cpp-python#2314 ·
維護者通常 1 天內回覆
-
Llama.embed() calls LlamaBatch.add_sequence with old 3-arg signature; missing logits_array可能重新可做 @lxcxjxhx 於 136 天前認領,目前沒有進行中的 PR。 未關閉
難度 2/5 1-3 小時 新手友好度 65/100
abetlen/llama-cpp-python#2211 · 2 則留言 ·
維護者通常 1 天內回覆
查看 abetlen/llama-cpp-python 的全部 Issue
相似的 Issue
-
難度 2/5 1-3 小時 新手友好度 64/100
維護者通常 1 天內回覆
-
area:cli area:security enhancement priority:medium size:small
難度 2/5 1-3 小時 新手友好度 76/100
RonaldHensbergen/composable-data-stack#1338 ·
維護者通常 1 天內回覆
-
area:stdlib effort:S impact:med platform:linux type:bug
難度 2/5 1-3 小時 新手友好度 84/100
維護者通常 1 天內回覆
-
automated endpoint-dead needs-curation
難度 2/5 1-3 小時 新手友好度 76/100
almanac-data/climate-almanac#139 ·
維護者通常 1 天內回覆
-
難度 2/5 1-3 小時 新手友好度 82/100
UKGovernmentBEIS/inspect_ai#6695 · 1 則留言 ·
維護者通常 1 天內回覆