ggml-org/llama.cpp

server: avoid full prompt eval when 'prompt >= ctx'

已關閉

#6,855 建立於 2024年4月23日

在 GitHub 查看貢獻者指南
 (3 則留言) (0 個反應) (0 位負責人)C++ (21,737 個分叉)batch import
enhancementgood first issue

倉庫指標

星標
 (124,043 顆星)
PR 合併指標
 (平均合併 6天 8小時) (30 天內合併 389 個 PR)

描述

When using the server for multi-turn chat, soon or later the prompt is going to surpass the context size, the current approach truncate the prompt by half of the context size excluding n_keep:

https://github.com/ggerganov/llama.cpp/blob/192090bae47960f0d38d4967abe398a5d190057e/examples/server/server.cpp#L1969-L1983

By doing that, common_part is going to match only n_keep tokens (when cache_prompt: true):

https://github.com/ggerganov/llama.cpp/blob/192090bae47960f0d38d4967abe398a5d190057e/examples/server/server.cpp#L2011-L2016

Technically, this is not a full prompt eval, n_keep is not revaluated, but it would be better to avoid this if possible, specially because prompt eval is slow on CPU.

貢獻者指南

研究方向
檢查 server.cpp 第 1969-1983 行和第 2011-2016 行中當提示超過上下文大小時發生提示截斷的程式碼。目標是調整截斷邏輯或快取機制，以避免不必要的完整提示評估。查看議題評論以獲取維護者的提示或替代方法。考慮實作檢查，以便在可能的情況下重用現有快取，而無需完全重新評估。
技術棧
cpp
領域
backend
議題類型
效能
難度面向新貢獻者的預計實作難度，1 表示很小改動，5 表示專家級工作。
3
預計時間有經驗貢獻者完成調查、實作、測試並準備 pull request 的粗略時間範圍。
半天
活動狀態議題目前的可參與程度：新鮮、活躍、陳舊、阻塞或等待維護者輸入。
較久未更新
清晰度議題是否清楚說明預期改動、驗收標準和下一步。
清晰
前置要求
Familiarity with llama.cpp server codeUnderstanding of prompt caching and context size
新手友善度1-100 的估計分數，表示該議題對首次貢獻者的友善程度。
30