Windows: conflicts with llama-cpp-python 0.3.37 ggml DLLs in the same process
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 42/100
Hướng nghiên cứu
Start by reviewing the Windows DLL loading and bundled ggml library naming in ggml-python, then compare the bundled ggml version with llama-cpp-python 0.3.37. Use the linked Windows CI matrix to reproduce both import orders on Python 3.11. Done means both packages import and the reported ggml call works in either order on Windows.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
On Windows, when ggml-python 0.0.45 and llama-cpp-python are used in the same process, both packages load a DLL named ggml and the second import reuses the one already loaded:
llama_cppimported first,llama-cpp-python0.3.37:ggml-pythoncalls into llama-cpp's newer ggml build and crashes. For exampleggml_gallocr_new(ggml_backend_get_default_buffer_type(backend))raisesOSError: exception: access violation writing 0x0000000000000000. Withllama-cpp-python0.3.36 the same code works.ggmlimported first (either version):llama_cppfails to load withFailed to load shared library '...\llama_cpp\lib\llama.dll': [WinError 127] The specified procedure could not be found.
Linux and macOS are not affected. A Windows CI matrix that reproduces both cases is here: https://github.com/MaiAditya/txtai/actions/runs/44072580894 (Python 3.11, windows-latest). This came up in txtai, see neuml/txtai#1584.
Would updating the bundled ggml to the version used by current llama-cpp-python releases be possible? That would make the first case work again. Longer term, giving the bundled DLLs a package-specific name would avoid the clash entirely.
- Ngôn ngữ chính
- Python
- Star
- 152
- Fork
- 17
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Không có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của abetlen/ggml-python
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
abetlen/ggml-python#91 ·
-
Import errorĐang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100
abetlen/ggml-python#90 ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
abetlen/ggml-python#93 · 1 bình luận ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 45/100
abetlen/ggml-python#92 ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 30/100
abetlen/ggml-python#21 ·
Tất cả issue của abetlen/ggml-python
Issue tương tự
-
needs-triage
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 88/100
flashinfer-ai/flashinfer#9803 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
bug frontend good first issue help wanted
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
oscarbol09/thesisforge#61 ·
-
api bug performance
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
oscarbol09/audiobard#159 ·
-
area:web p2 product:business triage:active type:bug
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 89/100
cuadrao-ai/argus#2328 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
bug frontend good first issue help wanted
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
nikhilb2/simple_invoicing#907 ·