Wrong `chat_format` documented for Moondream 2

Ouverte Adaptée aux débutants
#1,996 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

Évaluation

Difficulté
1/5
Temps estimé
Moins d'une heure
Accessibilité débutants
90/100
Type d'issue
Documentation
Clarté
Clairement spécifiée
Activité
À l'abandon
Stack technique
python
Domaine
documentation

Piste de recherche

L’issue pointe vers le fichier README.md, à la ligne 504, où le chat_format incorrect 'moondream2' est documenté. Le format correct 'moondream' se trouve dans le code source, à la ligne 118 de llama_cpp/server/model.py. Modifiez README.md pour remplacer 'moondream2' par 'moondream'. Vérifiez la modification en consultant la liste des formats valides dans le message d’erreur ou dans le code source.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

Hi! 👋

I was testing the Server API with Moondream 2 as the model, and the documented chat_format, moondream2, threw an error:

Error code: 500 - {'error': {'message': "Invalid chat handler: moondream2 (valid formats: ['llama-2', 'llama-3', 'alpaca', 'qwen', 'vicuna', 'oasst_llama', 'baichuan-2', 'baichuan', 'openbuddy', 'redpajama-incite', 'snoozy', 'phind', 'intel', 'open-orca', 'mistrallite', 'zephyr', 'pygmalion', 'chatml', 'mistral-instruct', 'chatglm3', 'openchat', 'saiga', 'gemma', 'functionary', 'functionary-v2', 'functionary-v1', 'chatml-function-calling'])", 'type': 'internal_server_error', 'param': None, 'code': None}}

Looking at the code, it appears that the correct chat_format is moondream and not moondream2 (moondream worked as expected).

What do you think?

Let me know if I can open a PR to fix the documented chat_format, please.

Thank you for this project! 😄

Langage dominant
Python
Étoiles
10.6k
Forks
1.5k
Merge moyen
23 min
PR mergées (30 j)
1

Guide de contribution

Ouvrir le guide de contribution

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de abetlen/llama-cpp-python

Toutes les issues de abetlen/llama-cpp-python

Issues similaires

Plus d'issues Python

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.