How do I add the ChatML prompt template to the .args file when creating a llamafile? · mozilla-ai/llamafile

(3 則留言) (1 個反應) (0 位負責人)C++ (1,358 個分叉)batch import

enhancementhelp wanted

倉庫指標

星標: (24,439 顆星)
PR 合併指標: (PR 指標待抓取)

描述

Simply something like this:

-template "<|im_start|>system {system_message}<|im_end|> <|im_start|>user {prompt}<|im_end|> <|im_start|>assistant"

or something else entirely?

貢獻者指南

研究方向: 查看 llamafile 文檔中 .args 檔案格式和 template 標誌。需要在 .args 檔案中將完整的提示模板作為一行或適當轉義的字串包含。對於 ChatML，使用 template "<|im start|>system\n{system message}<|im end|>\n<|im start|>user\n{prompt}<|im end|>\n<|im start|>assistant"
技術棧: 無
領域: climachine learning
議題類型: 文件
難度: 1
預計時間: 1 小時以內
活動狀態: 活躍
清晰度: 清晰
前置要求: basic command line
新手友善度: 85