ggml-org/llama.cpp

server: avoid full prompt eval when 'prompt >= ctx'

クローズ

#6,855 opened on 2024/04/23

GitHub で見るコントリビューターガイド
 (3 件のコメント) (0 件のリアクション) (0 人の担当者)C++ (21,764 件のフォーク)batch import
enhancementgood first issue

Repository metrics

Stars
 (124,134 個のスター)
PR merge metrics
 (平均マージ 6d 8h) (30d で 389 merged PRs)

説明

When using the server for multi-turn chat, soon or later the prompt is going to surpass the context size, the current approach truncate the prompt by half of the context size excluding n_keep:

https://github.com/ggerganov/llama.cpp/blob/192090bae47960f0d38d4967abe398a5d190057e/examples/server/server.cpp#L1969-L1983

By doing that, common_part is going to match only n_keep tokens (when cache_prompt: true):

https://github.com/ggerganov/llama.cpp/blob/192090bae47960f0d38d4967abe398a5d190057e/examples/server/server.cpp#L2011-L2016

Technically, this is not a full prompt eval, n_keep is not revaluated, but it would be better to avoid this if possible, specially because prompt eval is slow on CPU.

コントリビューターガイド

調査方針
server.cpp の 1969-1983 行目と 2011-2016 行目で、プロンプトがコンテキストサイズを超えた場合にプロンプトの切り捨てが発生する参照コードを調査します。目標は、不要な完全なプロンプト評価を避けるために、切り捨てロジックまたはキャッシュメカニズムを調整することです。メンテナのヒントや代替アプローチについて、課題コメントを確認してください。可能な場合は完全な再評価なしに既存のキャッシュを再利用するためのチェックを実装することを検討してください。
技術スタック
cpp
領域
backend
Issue 種別
パフォーマンス
難度新しい貢献者にとっての実装難度です。1 は非常に小さな変更、5 は専門的な作業です。
3
推定時間経験ある貢献者が調査、実装、テスト、pull request 準備にかけるおおよその時間範囲です。
半日
活動状況Issue が今どれだけ取り組みやすいかを示します。新しい、活発、古い、ブロック中、またはメンテナー入力待ちなどです。
古い
明確さ期待される変更、受け入れ条件、次の手順がどれだけ明確かを示します。
明確
前提条件
Familiarity with llama.cpp server codeUnderstanding of prompt caching and context size
初心者向け度初回貢献者にどれだけ取り組みやすいかを 1-100 で推定したスコアです。
30