ggml-org/llama.cpp

server: avoid full prompt eval when 'prompt >= ctx'

已关闭

#6,855 创建于 2024年4月23日

在 GitHub 查看贡献者指南
 (3 条评论) (0 个反应) (0 位负责人)C++ (21,737 个派生)batch import
enhancementgood first issue

仓库指标

星标
 (124,043 个星标)
PR 合并指标
 (平均合并 6天 8小时) (30 天内合并 389 个 PR)

描述

When using the server for multi-turn chat, soon or later the prompt is going to surpass the context size, the current approach truncate the prompt by half of the context size excluding n_keep:

https://github.com/ggerganov/llama.cpp/blob/192090bae47960f0d38d4967abe398a5d190057e/examples/server/server.cpp#L1969-L1983

By doing that, common_part is going to match only n_keep tokens (when cache_prompt: true):

https://github.com/ggerganov/llama.cpp/blob/192090bae47960f0d38d4967abe398a5d190057e/examples/server/server.cpp#L2011-L2016

Technically, this is not a full prompt eval, n_keep is not revaluated, but it would be better to avoid this if possible, specially because prompt eval is slow on CPU.

贡献者指南

研究方向
检查 server.cpp 第 1969-1983 行和第 2011-2016 行中当提示超过上下文大小时发生提示截断的代码。目标是调整截断逻辑或缓存机制，以避免不必要的完整提示评估。查看议题评论以获取维护者的提示或替代方法。考虑实现检查，以便在可能的情况下重用现有缓存，而无需完全重新评估。
技术栈
cpp
领域
backend
议题类型
性能
难度面向新贡献者的预计实现难度，1 表示很小改动，5 表示专家级工作。
3
预计时间有经验贡献者完成调查、实现、测试并准备 pull request 的粗略时间范围。
半天
活动状态议题当前的可参与程度：新鲜、活跃、陈旧、阻塞或等待维护者输入。
较久未更新
清晰度议题是否清楚说明期望改动、验收标准和下一步。
清晰
前置要求
Familiarity with llama.cpp server codeUnderstanding of prompt caching and context size
新手友好度1-100 的估计分数，表示该议题对首次贡献者的友好程度。
30