abetlen/llama-cpp-python

Low level API example failed to run

Aperta

#841 aperta il 24 ott 2023

Vedi su GitHubGuida contributor
 (5 commenti) (0 reazioni) (0 assegnatari)Python (1442 fork)batch import
bughelp wanted

Metriche repository

Star
 (10.572 stelle)
Metriche merge PR
 (Merge medio 1g 5h) (68 PR mergiate in 30 g)

Descrizione

I attempted to run a low-level API in version 0.2.11, but both installing from pypi and compiling from source failed. python: 3.10.12 llama_cpp_python: 0.2.11

{llama-cpp-python/examples/low_level_api}$ python low_level_api_llama_cpp.py
Traceback (most recent call last):
  File ".../llama-cpp-python/examples/low_level_api/low_level_api_llama_cpp.py", line 15, in <module>
    model = llama_cpp.llama_load_model_from_file(MODEL_PATH.encode('utf-8'), lparams)
  File ".../llama-cpp-python/llama_cpp/llama_cpp.py", line 498, in llama_load_model_from_file
    return _lib.llama_load_model_from_file(path_model, params)
ctypes.ArgumentError: argument 2: TypeError: expected llama_model_params instance instead of llama_context_params

Guida contributor

Direzione di ricerca
Rivedi l'esempio low level api llama cpp.py e il file di binding llama cpp.py (riga 498). L'errore indica che l'esempio passa un oggetto llama context params ma la funzione si aspetta llama model params. Controlla i binding llama cpp per il tipo di parametro corretto e aggiorna l'esempio di conseguenza.
Tech stack
python
Dominio
apibackend
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Pythonctypes
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
75