mozilla-ai/llamafile

How do I add the ChatML prompt template to the .args file when creating a llamafile?

Ouverte

#227 ouverte le 24 janv. 2024

Voir sur GitHubGuide contributeur
 (3 commentaires) (1 réaction) (0 personne assignée)C++ (1 358 forks)batch import
enhancementhelp wanted

Métriques du dépôt

Stars
 (24 439 étoiles)
Métriques de merge PR
 (Merge moyen 2j 20h) (14 PRs mergées en 30 j)

Description

Simply something like this:

-template "<|im_start|>system {system_message}<|im_end|> <|im_start|>user {prompt}<|im_end|> <|im_start|>assistant"

or something else entirely?

Guide contributeur

Direction de recherche
Consultez la documentation de llamafile pour le format du fichier .args et le flag template. Vous devez inclure le modèle de prompt complet sous forme de ligne unique ou de chaîne correctement échappée dans le fichier .args. Pour ChatML, utilisez template "<|im start|>system\n{system message}<|im end|>\n<|im start|>user\n{prompt}<|im end|>\n<|im start|>assistant"
Stack technique
Aucun
Domaine
climachine learning
Type d'issue
Documentation
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
1
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Moins d'une heure
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
basic command line
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
85