abetlen/llama-cpp-python

Low level API example failed to run

Aberta

#841 aberto em 24 de out. de 2023

Ver no GitHubGuia do colaborador
 (5 comentários) (0 reação) (0 responsável)Python (1.442 forks)batch import
bughelp wanted

Métricas do repositório

Stars
 (10.564 estrelas)
Métricas de merge de PR
 (Mesclagem média 1d 5h) (68 fundiu PRs em 30d)

Description

I attempted to run a low-level API in version 0.2.11, but both installing from pypi and compiling from source failed. python: 3.10.12 llama_cpp_python: 0.2.11

{llama-cpp-python/examples/low_level_api}$ python low_level_api_llama_cpp.py
Traceback (most recent call last):
  File ".../llama-cpp-python/examples/low_level_api/low_level_api_llama_cpp.py", line 15, in <module>
    model = llama_cpp.llama_load_model_from_file(MODEL_PATH.encode('utf-8'), lparams)
  File ".../llama-cpp-python/llama_cpp/llama_cpp.py", line 498, in llama_load_model_from_file
    return _lib.llama_load_model_from_file(path_model, params)
ctypes.ArgumentError: argument 2: TypeError: expected llama_model_params instance instead of llama_context_params

Guia do colaborador

Direção de pesquisa
Revise o exemplo low level api llama cpp.py e o arquivo de binding llama cpp.py (linha 498). O erro indica que o exemplo passa um objeto llama context params, mas a função espera llama model params. Verifique os bindings llama cpp para o tipo de parâmetro correto e atualize o exemplo de acordo.
Pilha de tecnologia
python
Domain
apibackend
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Pythonctypes
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
75