abetlen/llama-cpp-python

Low level API example failed to run

Open

#841 geöffnet am 24. Okt. 2023

Auf GitHub ansehen
 (5 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (644 Forks)batch import
bughelp wanted

Repository-Metriken

Stars
 (4.995 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 1T 5h) (68 gemergte PRs in 30 T)

Beschreibung

I attempted to run a low-level API in version 0.2.11, but both installing from pypi and compiling from source failed. python: 3.10.12 llama_cpp_python: 0.2.11

{llama-cpp-python/examples/low_level_api}$ python low_level_api_llama_cpp.py
Traceback (most recent call last):
  File ".../llama-cpp-python/examples/low_level_api/low_level_api_llama_cpp.py", line 15, in <module>
    model = llama_cpp.llama_load_model_from_file(MODEL_PATH.encode('utf-8'), lparams)
  File ".../llama-cpp-python/llama_cpp/llama_cpp.py", line 498, in llama_load_model_from_file
    return _lib.llama_load_model_from_file(path_model, params)
ctypes.ArgumentError: argument 2: TypeError: expected llama_model_params instance instead of llama_context_params

Contributor Guide

Research-Richtung
Überprüfe das Beispiel low level api llama cpp.py und die Bindungsdatei llama cpp.py (Zeile 498). Der Fehler zeigt an, dass das Beispiel ein llama context params Objekt übergibt, die Funktion aber llama model params erwartet. Überprüfe die llama cpp Bindungen auf den korrekten Parametertyp und aktualisiere das Beispiel entsprechend.
Tech Stack
python
Domain
apibackend
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
Pythonctypes
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
75