Wrong `chat_format` documented for Moondream 2

Offen Anfängerfreundlich

#1,996 erstellt am 09.4.2025 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit: 1/5
Geschätzter Aufwand: Unter einer Stunde
Anfängerfreundlichkeit: 90/100

Issue-Typ: Dokumentation
Klarheit: Klar beschrieben
Aktivitätsstatus: Veraltet
Tech-Stack: python
Bereich: documentation

Rechercherichtung

Das Issue verweist auf die Datei README.md, Zeile 504, in der das falsche chat_format 'moondream2' dokumentiert ist. Das korrekte Format 'moondream' ist im Quellcode unter llama_cpp/server/model.py, Zeile 118, zu finden. Bearbeite README.md, um 'moondream2' durch 'moondream' zu ersetzen. Überprüfe die Änderung, indem du die Liste der gültigen Formate in der Fehlermeldung oder im Quellcode prüfst.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

Hi! 👋

I was testing the Server API with Moondream 2 as the model, and the documented chat_format, moondream2, threw an error:

Error code: 500 - {'error': {'message': "Invalid chat handler: moondream2 (valid formats: ['llama-2', 'llama-3', 'alpaca', 'qwen', 'vicuna', 'oasst_llama', 'baichuan-2', 'baichuan', 'openbuddy', 'redpajama-incite', 'snoozy', 'phind', 'intel', 'open-orca', 'mistrallite', 'zephyr', 'pygmalion', 'chatml', 'mistral-instruct', 'chatglm3', 'openchat', 'saiga', 'gemma', 'functionary', 'functionary-v2', 'functionary-v1', 'chatml-function-calling'])", 'type': 'internal_server_error', 'param': None, 'code': None}}

Looking at the code, it appears that the correct chat_format is moondream and not moondream2 (moondream worked as expected).

What do you think?

Let me know if I can open a PR to fix the documented chat_format, please.

Thank you for this project! 😄

Vorherrschende Sprache: Python
Sterne: 10.6k
Forks: 1.5k
Ø Merge: 23 Min.
Gemergte PRs (30 T.): 1

Beitragsleitfaden

Beitragsleitfaden öffnen

Erste Schritte

Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
Forken Sie das Repository und arbeiten Sie in einem Branch.
Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus abetlen/llama-cpp-python

uv add llama-cpp-python wheels fails for versions above 0.3.30 Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 65/100

abetlen/llama-cpp-python#2352 · Erstellt am 31.7.2026
Llama.embed() calls LlamaBatch.add_sequence with old 3-arg signature; missing logits_array Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 65/100

abetlen/llama-cpp-python#2211 · 2 Kommentare · Erstellt am 09.5.2026
Llama() silently accepts and discards `embedding` kwarg; .embed() then raises confusingly Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 65/100

abetlen/llama-cpp-python#2210 · Erstellt am 09.5.2026
Improve error messages Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 65/100

abetlen/llama-cpp-python#2145 · Erstellt am 22.3.2026
📋 Documentation Enhancement Suggestion Offen

Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 75/100

abetlen/llama-cpp-python#2135 · 4 Reaktionen · Erstellt am 06.3.2026

Alle Issues in abetlen/llama-cpp-python