abetlen/llama-cpp-python

Low level API example failed to run

Open

#841 ouverte le 24 oct. 2023

Voir sur GitHub
 (5 commentaires) (0 réactions) (0 assignés)Python (644 forks)batch import
bughelp wanted

Métriques du dépôt

Stars
 (4 995 stars)
Métriques de merge PR
 (Merge moyen 1j 5h) (68 PRs mergées en 30 j)

Description

I attempted to run a low-level API in version 0.2.11, but both installing from pypi and compiling from source failed. python: 3.10.12 llama_cpp_python: 0.2.11

{llama-cpp-python/examples/low_level_api}$ python low_level_api_llama_cpp.py
Traceback (most recent call last):
  File ".../llama-cpp-python/examples/low_level_api/low_level_api_llama_cpp.py", line 15, in <module>
    model = llama_cpp.llama_load_model_from_file(MODEL_PATH.encode('utf-8'), lparams)
  File ".../llama-cpp-python/llama_cpp/llama_cpp.py", line 498, in llama_load_model_from_file
    return _lib.llama_load_model_from_file(path_model, params)
ctypes.ArgumentError: argument 2: TypeError: expected llama_model_params instance instead of llama_context_params

Guide contributeur

Direction de recherche
Examinez l'exemple low level api llama cpp.py et le fichier de liaison llama cpp.py (ligne 498). L'erreur indique que l'exemple passe un objet llama context params mais que la fonction attend llama model params. Vérifiez les liaisons llama cpp pour le type de paramètre correct et mettez à jour l'exemple en conséquence.
Stack technique
python
Domaine
apibackend
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
Pythonctypes
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
75