Windows: conflicts with llama-cpp-python 0.3.37 ggml DLLs in the same process

Ouverte
#202 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

Évaluation

Difficulté
4/5
Temps estimé
3-5 jours
Accessibilité débutants
42/100
Type d'issue
Bug
Clarté
Plutôt claire
Activité
Active
Stack technique
python
Domaine
backend, devtools

Piste de recherche

Start by reviewing the Windows DLL loading and bundled ggml library naming in ggml-python, then compare the bundled ggml version with llama-cpp-python 0.3.37. Use the linked Windows CI matrix to reproduce both import orders on Python 3.11. Done means both packages import and the reported ggml call works in either order on Windows.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

On Windows, when ggml-python 0.0.45 and llama-cpp-python are used in the same process, both packages load a DLL named ggml and the second import reuses the one already loaded:

  • llama_cpp imported first, llama-cpp-python 0.3.37: ggml-python calls into llama-cpp's newer ggml build and crashes. For example ggml_gallocr_new(ggml_backend_get_default_buffer_type(backend)) raises OSError: exception: access violation writing 0x0000000000000000. With llama-cpp-python 0.3.36 the same code works.
  • ggml imported first (either version): llama_cpp fails to load with Failed to load shared library '...\llama_cpp\lib\llama.dll': [WinError 127] The specified procedure could not be found.

Linux and macOS are not affected. A Windows CI matrix that reproduces both cases is here: https://github.com/MaiAditya/txtai/actions/runs/44072580894 (Python 3.11, windows-latest). This came up in txtai, see neuml/txtai#1584.

Would updating the bundled ggml to the version used by current llama-cpp-python releases be possible? That would make the first case work again. Longer term, giving the bundled DLLs a package-specific name would avoid the clash entirely.

Langage dominant
Python
Étoiles
152
Forks
17
Métriques de merge des PR
Aucune PR mergée en 30 j

Préparer son environnement

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de abetlen/ggml-python

Toutes les issues de abetlen/ggml-python

Issues similaires

Plus d'issues Python

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.