Module import doesn't work when using pip install llama-cpp-python --target="dir"

Offen Anfängerfreundlich

#907 erstellt am 13.11.2023 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit: 2/5
Geschätzter Aufwand: 1-3 Stunden
Anfängerfreundlichkeit: 65/100

Issue-Typ: Bug
Klarheit: Klar beschrieben
Aktivitätsstatus: Veraltet
Tech-Stack: python
Bereich: build-system

Rechercherichtung

Das Issue befindet sich in llama_cpp/llama.py in den Zeilen 26–27, wo ein Import bei der Installation mit --target fehlschlägt. Untersuche die Modulstruktur, um den korrekten Importpfad zu verstehen. Teste die Korrektur, indem du das Paket mit --target in einem temporären Verzeichnis installierst und überprüfst, ob der Import funktioniert. Prüfe, ob es in der Codebasis weitere ähnliche Importanweisungen gibt, die dieselbe Änderung benötigen könnten.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

bug build

When using the latest update with how I've setup my embedded install, I ran into this issue:

No module named 'llama_cpp.llama_chat_format'
Traceback (most recent call last):
  File "Z:\Anyboty_Client\llamacppClient.py", line 252, in <module>
    llama_cpp = importlib.import_module(llama_module_dir, package="llama_cpp") # Import the llama module from the llama-cpp-python module
  File "<frozen importlib._bootstrap>", line 1050, in _gcd_import
  File "<frozen importlib._bootstrap>", line 1027, in _find_and_load
  File "<frozen importlib._bootstrap>", line 1006, in _find_and_load_unlocked
  File "<frozen importlib._bootstrap>", line 688, in _load_unlocked
  File "<frozen importlib._bootstrap_external>", line 883, in exec_module
  File "<frozen importlib._bootstrap>", line 241, in _call_with_frames_removed
  File "Z:\Anyboty_Client\PythonFiles\llama_cpp_versions\12_1\ggufv2\windows10\llama_cpp\__init__.py", line 2, in <module>
    from .llama import *
  File "Z:\Anyboty_Client\PythonFiles\llama_cpp_versions\12_1\ggufv2\windows10\llama_cpp\llama.py", line 27, in <module>
    import llama_cpp.llama_chat_format as llama_chat_format
ModuleNotFoundError: No module named 'llama_cpp.llama_chat_format'

I resolved the issue in my specific setup by changing this:
https://github.com/abetlen/llama-cpp-python/blob/01846a76b980224609ac8b69c8eb3f5785816752/llama_cpp/llama.py#L26-L27

To this:

from . import llama_cpp
from . import llama_chat_format

And while I think this is probably a fine solution, not 100% sure. So thought I'd just bring it to y'alls attention and let you fix it properly.

Vorherrschende Sprache: Python
Sterne: 10.6k
Forks: 1.5k
Ø Merge: 6 Std. 43 Min.
Gemergte PRs (30 T.): 2

Beitragsleitfaden

Beitragsleitfaden öffnen

Erste Schritte

Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
Forken Sie das Repository und arbeiten Sie in einem Branch.
Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus abetlen/llama-cpp-python

Seven llama_sampler_init_* bindings admit keyword arguments that the ctypes function object silently drops Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 88/100

abetlen/llama-cpp-python#2371 · Erstellt am 22.9.2026
uv add llama-cpp-python wheels fails for versions above 0.3.30 Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 65/100

abetlen/llama-cpp-python#2352 · Erstellt am 31.7.2026
Docs: consolidate build-from-source and GPU backend guide Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 75/100

abetlen/llama-cpp-python#2314 · Erstellt am 19.6.2026
Llama.embed() calls LlamaBatch.add_sequence with old 3-arg signature; missing logits_array Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 65/100

abetlen/llama-cpp-python#2211 · 2 Kommentare · Erstellt am 09.5.2026
Llama() silently accepts and discards `embedding` kwarg; .embed() then raises confusingly Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 65/100

abetlen/llama-cpp-python#2210 · Erstellt am 09.5.2026

Alle Issues in abetlen/llama-cpp-python