Windows: conflicts with llama-cpp-python 0.3.37 ggml DLLs in the same process
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Anfängerfreundlichkeit
- 42/100
Rechercherichtung
Start by reviewing the Windows DLL loading and bundled ggml library naming in ggml-python, then compare the bundled ggml version with llama-cpp-python 0.3.37. Use the linked Windows CI matrix to reproduce both import orders on Python 3.11. Done means both packages import and the reported ggml call works in either order on Windows.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
On Windows, when ggml-python 0.0.45 and llama-cpp-python are used in the same process, both packages load a DLL named ggml and the second import reuses the one already loaded:
llama_cppimported first,llama-cpp-python0.3.37:ggml-pythoncalls into llama-cpp's newer ggml build and crashes. For exampleggml_gallocr_new(ggml_backend_get_default_buffer_type(backend))raisesOSError: exception: access violation writing 0x0000000000000000. Withllama-cpp-python0.3.36 the same code works.ggmlimported first (either version):llama_cppfails to load withFailed to load shared library '...\llama_cpp\lib\llama.dll': [WinError 127] The specified procedure could not be found.
Linux and macOS are not affected. A Windows CI matrix that reproduces both cases is here: https://github.com/MaiAditya/txtai/actions/runs/44072580894 (Python 3.11, windows-latest). This came up in txtai, see neuml/txtai#1584.
Would updating the bundled ggml to the version used by current llama-cpp-python releases be possible? That would make the first case work again. Longer term, giving the bundled DLLs a package-specific name would avoid the clash entirely.
- Vorherrschende Sprache
- Python
- Sterne
- 152
- Forks
- 17
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Entwicklungsumgebung
- Kein Dockerfile und keine Docker-Compose-Datei
- Keine Pull-Request-Vorlage
- Beitragsleitfaden lesen
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus abetlen/ggml-python
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 75/100
abetlen/ggml-python#91 ·
-
Import errorOffen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 65/100
abetlen/ggml-python#90 ·
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 25/100
abetlen/ggml-python#93 · 1 Kommentar ·
-
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 45/100
abetlen/ggml-python#92 ·
-
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 30/100
abetlen/ggml-python#21 ·
Alle Issues in abetlen/ggml-python
Ähnliche Issues
-
needs-triage
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 88/100
flashinfer-ai/flashinfer#9803 ·
Maintainer antworten meist innerhalb von 1 Tag
-
bug frontend good first issue help wanted
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
oscarbol09/thesisforge#61 ·
-
api bug performance
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 82/100
oscarbol09/audiobard#159 ·
-
area:web p2 product:business triage:active type:bug
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 89/100
cuadrao-ai/argus#2328 ·
Maintainer antworten meist innerhalb von 1 Tag
-
bug frontend good first issue help wanted
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 88/100
nikhilb2/simple_invoicing#907 ·