Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

feat(hf): reuse the prompt KV cache across turns to keep time to first token flat

Aperta
  • Qualcosa non va?
#7,765 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
35/100
Tipo di issue
Funzionalità
Chiarezza
Abbastanza chiara
Stato di attività
Attiva
Stack tecnologico
python
Ambito
ai, performance

Direzione di ricerca

Start by reading the livekit-plugins-hf implementation introduced in #7731 and trace how it encodes ChatContext for each turn. Compare the tokenized prompt prefixes across turns and identify where past_key_values could be retained and invalidated. Done means safely reusing unchanged prefixes, falling back when history changes, and bounding cache memory per session and overall; coordinate this design with #5351.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Feature Type

Would make my life easier

Feature Description

livekit-plugins-hf (#7731) re-encodes the full prompt on every turn: system prompt, tools and the whole conversation so far. Earlier turns don't change between replies, but their attention keys and values are computed again each time. So time to first token grows with the length of the call.

Measured on Qwen2.5-0.5B-Instruct, Apple M4 (MPS), temperature=0, steady state (second pass, shapes warm):

conversation prompt tokens time to first token
first turn 36 52 ms
after 10 exchanges 846 257 ms
after 20 exchanges 1666 494 ms
after 40 exchanges 3306 1002 ms

A 20x slowdown over one call, on the smallest model. Larger models scale it further.

Proposal: keep each session's past_key_values between turns, and on the next turn feed only the tokens after the longest shared prefix.

  • Key the cache by session (or by ChatContext identity) and evict it when the session ends.
  • Fall back to a full re-encode when the prefix changes, e.g. history truncation or an edited system prompt.
  • Bound the memory per session and in total, since the cache trades memory for latency. This interacts with the KV cache compression proposed in #5351.

Hosted providers already do this: the openai, anthropic and google plugins all expose prompt caching.

Workarounds / Alternatives
  • Trim history aggressively, which loses context.
  • Use a server with prefix caching (vLLM, SGLang) through the openai plugin. That adds a separate service.
Additional Context
  • Follow-up to #7731 and related to #5351.
  • Prefix reuse pairs with batching (#7764): prefix caching cuts each turn's prefill; batching shares decode across sessions.
Lingua principale
Python
Stelle
14.6k
Fork
3.9k
Merge medio
2g 9h
PR unite (30g)
159

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di livekit/agents

Tutte le issue di livekit/agents

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.