mozilla-ai/llamafile

How do I add the ChatML prompt template to the .args file when creating a llamafile?

オープン

#227 opened on 2024/01/24

GitHub で見るコントリビューターガイド
 (3 件のコメント) (1 件のリアクション) (0 人の担当者)C++ (1,358 件のフォーク)batch import
enhancementhelp wanted

Repository metrics

Stars
 (24,439 個のスター)
PR merge metrics
 (平均マージ 2d 20h) (30d で 14 merged PRs)

説明

Simply something like this:

-template "<|im_start|>system {system_message}<|im_end|> <|im_start|>user {prompt}<|im_end|> <|im_start|>assistant"

or something else entirely?

コントリビューターガイド

調査方針
llamafileのドキュメントで.argsファイルの形式と templateフラグを確認してください。.argsファイルに完全なプロンプトテンプレートを一行または適切にエスケープされた文字列として含める必要があります。ChatMLの場合は、 template "<|im start|>system\n{system message}<|im end|>\n<|im start|>user\n{prompt}<|im end|>\n<|im start|>assistant"を使用します。
技術スタック
なし
領域
climachine learning
Issue 種別
ドキュメント
難度新しい貢献者にとっての実装難度です。1 は非常に小さな変更、5 は専門的な作業です。
1
推定時間経験ある貢献者が調査、実装、テスト、pull request 準備にかけるおおよその時間範囲です。
1時間未満
活動状況Issue が今どれだけ取り組みやすいかを示します。新しい、活発、古い、ブロック中、またはメンテナー入力待ちなどです。
アクティブ
明確さ期待される変更、受け入れ条件、次の手順がどれだけ明確かを示します。
明確
前提条件
basic command line
初心者向け度初回貢献者にどれだけ取り組みやすいかを 1-100 で推定したスコアです。
85