Windows: conflicts with llama-cpp-python 0.3.37 ggml DLLs in the same process
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 4/5
- Tempo estimado
- 3-5 dias
- Facilidade para iniciantes
- 42/100
Direção de pesquisa
Start by reviewing the Windows DLL loading and bundled ggml library naming in ggml-python, then compare the bundled ggml version with llama-cpp-python 0.3.37. Use the linked Windows CI matrix to reproduce both import orders on Python 3.11. Done means both packages import and the reported ggml call works in either order on Windows.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
On Windows, when ggml-python 0.0.45 and llama-cpp-python are used in the same process, both packages load a DLL named ggml and the second import reuses the one already loaded:
llama_cppimported first,llama-cpp-python0.3.37:ggml-pythoncalls into llama-cpp's newer ggml build and crashes. For exampleggml_gallocr_new(ggml_backend_get_default_buffer_type(backend))raisesOSError: exception: access violation writing 0x0000000000000000. Withllama-cpp-python0.3.36 the same code works.ggmlimported first (either version):llama_cppfails to load withFailed to load shared library '...\llama_cpp\lib\llama.dll': [WinError 127] The specified procedure could not be found.
Linux and macOS are not affected. A Windows CI matrix that reproduces both cases is here: https://github.com/MaiAditya/txtai/actions/runs/44072580894 (Python 3.11, windows-latest). This came up in txtai, see neuml/txtai#1584.
Would updating the bundled ggml to the version used by current llama-cpp-python releases be possible? That would make the first case work again. Longer term, giving the bundled DLLs a package-specific name would avoid the clash entirely.
- Linguagem predominante
- Python
- Estrelas
- 152
- Forks
- 17
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Preparar o ambiente
- Sem Dockerfile nem arquivo Docker Compose
- Sem modelo de pull request
- Ler o guia de contribuição
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de abetlen/ggml-python
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 75/100
abetlen/ggml-python#91 ·
-
Import errorAberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 65/100
abetlen/ggml-python#90 ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 25/100
abetlen/ggml-python#93 · 1 comentário ·
-
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 45/100
abetlen/ggml-python#92 ·
-
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 30/100
abetlen/ggml-python#21 ·
Todas as issues de abetlen/ggml-python
Issues semelhantes
-
needs-triage
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 88/100
flashinfer-ai/flashinfer#9803 ·
Mantenedores costumam responder em até 1 dia
-
bug frontend good first issue help wanted
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
oscarbol09/thesisforge#61 ·
-
api bug performance
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 82/100
oscarbol09/audiobard#159 ·
-
area:web p2 product:business triage:active type:bug
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 89/100
cuadrao-ai/argus#2328 ·
Mantenedores costumam responder em até 1 dia
-
bug frontend good first issue help wanted
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 88/100
nikhilb2/simple_invoicing#907 ·