Windows: conflicts with llama-cpp-python 0.3.37 ggml DLLs in the same process
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Accessibilité débutants
- 42/100
Piste de recherche
Start by reviewing the Windows DLL loading and bundled ggml library naming in ggml-python, then compare the bundled ggml version with llama-cpp-python 0.3.37. Use the linked Windows CI matrix to reproduce both import orders on Python 3.11. Done means both packages import and the reported ggml call works in either order on Windows.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
On Windows, when ggml-python 0.0.45 and llama-cpp-python are used in the same process, both packages load a DLL named ggml and the second import reuses the one already loaded:
llama_cppimported first,llama-cpp-python0.3.37:ggml-pythoncalls into llama-cpp's newer ggml build and crashes. For exampleggml_gallocr_new(ggml_backend_get_default_buffer_type(backend))raisesOSError: exception: access violation writing 0x0000000000000000. Withllama-cpp-python0.3.36 the same code works.ggmlimported first (either version):llama_cppfails to load withFailed to load shared library '...\llama_cpp\lib\llama.dll': [WinError 127] The specified procedure could not be found.
Linux and macOS are not affected. A Windows CI matrix that reproduces both cases is here: https://github.com/MaiAditya/txtai/actions/runs/44072580894 (Python 3.11, windows-latest). This came up in txtai, see neuml/txtai#1584.
Would updating the bundled ggml to the version used by current llama-cpp-python releases be possible? That would make the first case work again. Longer term, giving the bundled DLLs a package-specific name would avoid the clash entirely.
- Langage dominant
- Python
- Étoiles
- 152
- Forks
- 17
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Préparer son environnement
- Aucun Dockerfile ni fichier Docker Compose
- Aucun modèle de pull request
- Lire le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de abetlen/ggml-python
-
Difficulté 2/5 1-3 heures Accessibilité débutants 75/100
abetlen/ggml-python#91 ·
-
Import errorOuverte
Difficulté 2/5 1-3 heures Accessibilité débutants 65/100
abetlen/ggml-python#90 ·
-
Difficulté 4/5 3-5 jours Accessibilité débutants 25/100
abetlen/ggml-python#93 · 1 commentaire ·
-
Difficulté 3/5 1-2 jours Accessibilité débutants 45/100
abetlen/ggml-python#92 ·
-
Difficulté 3/5 1-2 jours Accessibilité débutants 30/100
abetlen/ggml-python#21 ·
Toutes les issues de abetlen/ggml-python
Issues similaires
-
needs-triage
Difficulté 1/5 Moins d'une heure Accessibilité débutants 88/100
flashinfer-ai/flashinfer#9803 ·
Les mainteneurs répondent en général sous 1 jour
-
bug frontend good first issue help wanted
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
oscarbol09/thesisforge#61 ·
-
api bug performance
Difficulté 2/5 1-3 heures Accessibilité débutants 82/100
oscarbol09/audiobard#159 ·
-
area:web p2 product:business triage:active type:bug
Difficulté 1/5 Moins d'une heure Accessibilité débutants 89/100
cuadrao-ai/argus#2328 ·
Les mainteneurs répondent en général sous 1 jour
-
bug frontend good first issue help wanted
Difficulté 2/5 1-3 heures Accessibilité débutants 88/100
nikhilb2/simple_invoicing#907 ·