How do I add the ChatML prompt template to the .args file when creating a llamafile? · mozilla-ai/llamafile

(3 条评论) (1 个反应) (0 位负责人)C++ (1,358 个派生)batch import

enhancementhelp wanted

仓库指标

星标: (24,439 个星标)
PR 合并指标: (平均合并 2天 20小时) (30 天内合并 14 个 PR)

描述

Simply something like this:

-template "<|im_start|>system {system_message}<|im_end|> <|im_start|>user {prompt}<|im_end|> <|im_start|>assistant"

or something else entirely?

贡献者指南

研究方向: 查看 llamafile 文档中 .args 文件格式和 template 标志。需要在 .args 文件中将完整的提示模板作为一行或适当转义的字符串包含。对于 ChatML，使用 template "<|im start|>system\n{system message}<|im end|>\n<|im start|>user\n{prompt}<|im end|>\n<|im start|>assistant"
技术栈: 无
领域: climachine learning
议题类型: 文档
难度: 1
预计时间: 1 小时以内
活动状态: 活跃
清晰度: 清晰
前置要求: basic command line
新手友好度: 85