ggml-org/llama.cpp

server: avoid full prompt eval when 'prompt >= ctx'

Fermée

#6 855 ouverte le 23 avr. 2024

Voir sur GitHubGuide contributeur
 (3 commentaires) (0 réaction) (0 personne assignée)C++ (21 764 forks)batch import
enhancementgood first issue

Métriques du dépôt

Stars
 (124 134 étoiles)
Métriques de merge PR
 (Merge moyen 6j 8h) (389 PRs mergées en 30 j)

Description

When using the server for multi-turn chat, soon or later the prompt is going to surpass the context size, the current approach truncate the prompt by half of the context size excluding n_keep:

https://github.com/ggerganov/llama.cpp/blob/192090bae47960f0d38d4967abe398a5d190057e/examples/server/server.cpp#L1969-L1983

By doing that, common_part is going to match only n_keep tokens (when cache_prompt: true):

https://github.com/ggerganov/llama.cpp/blob/192090bae47960f0d38d4967abe398a5d190057e/examples/server/server.cpp#L2011-L2016

Technically, this is not a full prompt eval, n_keep is not revaluated, but it would be better to avoid this if possible, specially because prompt eval is slow on CPU.

Guide contributeur

Direction de recherche
Examinez le code référencé dans server.cpp lignes 1969-1983 et 2011-2016 où le tronquage du prompt se produit lorsque celui ci dépasse la taille du contexte. L'objectif est d'éviter une évaluation complète inutile du prompt en ajustant la logique de tronquage ou le mécanisme de cache. Consultez les commentaires de l'issue pour toute indication des mainteneurs ou approches alternatives. Envisagez de mettre en œuvre une vérification pour réutiliser le cache existant lorsque cela est possible, sans réévaluation complète.
Stack technique
cpp
Domaine
backend
Type d'issue
Performance
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Ancienne
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
Familiarity with llama.cpp server codeUnderstanding of prompt caching and context size
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
30