Windows: conflicts with llama-cpp-python 0.3.37 ggml DLLs in the same process
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 42/100
Línea de trabajo
Start by reviewing the Windows DLL loading and bundled ggml library naming in ggml-python, then compare the bundled ggml version with llama-cpp-python 0.3.37. Use the linked Windows CI matrix to reproduce both import orders on Python 3.11. Done means both packages import and the reported ggml call works in either order on Windows.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
On Windows, when ggml-python 0.0.45 and llama-cpp-python are used in the same process, both packages load a DLL named ggml and the second import reuses the one already loaded:
llama_cppimported first,llama-cpp-python0.3.37:ggml-pythoncalls into llama-cpp's newer ggml build and crashes. For exampleggml_gallocr_new(ggml_backend_get_default_buffer_type(backend))raisesOSError: exception: access violation writing 0x0000000000000000. Withllama-cpp-python0.3.36 the same code works.ggmlimported first (either version):llama_cppfails to load withFailed to load shared library '...\llama_cpp\lib\llama.dll': [WinError 127] The specified procedure could not be found.
Linux and macOS are not affected. A Windows CI matrix that reproduces both cases is here: https://github.com/MaiAditya/txtai/actions/runs/44072580894 (Python 3.11, windows-latest). This came up in txtai, see neuml/txtai#1584.
Would updating the bundled ggml to the version used by current llama-cpp-python releases be possible? That would make the first case work again. Longer term, giving the bundled DLLs a package-specific name would avoid the clash entirely.
- Lenguaje dominante
- Python
- Estrellas
- 152
- Forks
- 17
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de abetlen/ggml-python
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
abetlen/ggml-python#91 ·
-
Import errorAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
abetlen/ggml-python#90 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
abetlen/ggml-python#93 · 1 comentario ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 45/100
abetlen/ggml-python#92 ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 30/100
abetlen/ggml-python#21 ·
Todos los issues de abetlen/ggml-python
Issues similares
-
needs-triage
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
flashinfer-ai/flashinfer#9803 ·
Los mantenedores suelen responder en 1 día
-
bug frontend good first issue help wanted
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
oscarbol09/thesisforge#61 ·
-
api bug performance
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
oscarbol09/audiobard#159 ·
-
area:web p2 product:business triage:active type:bug
Dificultad 1/5 Menos de una hora Aptitud para principiantes 89/100
cuadrao-ai/argus#2328 ·
Los mantenedores suelen responder en 1 día
-
bug frontend good first issue help wanted
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
nikhilb2/simple_invoicing#907 ·