Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

feat(hf): reuse the prompt KV cache across turns to keep time to first token flat

Abierto
  • ¿Algo no está bien?
#7,765 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Los mantenedores suelen responder en 1 día

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
5/5
Tiempo estimado
Más de una semana
Aptitud para principiantes
35/100
Tipo de issue
Nueva funcionalidad
Claridad
Bastante claro
Estado de actividad
Activo
Stack tecnológico
python
Área
ai, performance

Línea de trabajo

Start by reading the livekit-plugins-hf implementation introduced in #7731 and trace how it encodes ChatContext for each turn. Compare the tokenized prompt prefixes across turns and identify where past_key_values could be retained and invalidated. Done means safely reusing unchanged prefixes, falling back when history changes, and bounding cache memory per session and overall; coordinate this design with #5351.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

Feature Type

Would make my life easier

Feature Description

livekit-plugins-hf (#7731) re-encodes the full prompt on every turn: system prompt, tools and the whole conversation so far. Earlier turns don't change between replies, but their attention keys and values are computed again each time. So time to first token grows with the length of the call.

Measured on Qwen2.5-0.5B-Instruct, Apple M4 (MPS), temperature=0, steady state (second pass, shapes warm):

conversation prompt tokens time to first token
first turn 36 52 ms
after 10 exchanges 846 257 ms
after 20 exchanges 1666 494 ms
after 40 exchanges 3306 1002 ms

A 20x slowdown over one call, on the smallest model. Larger models scale it further.

Proposal: keep each session's past_key_values between turns, and on the next turn feed only the tokens after the longest shared prefix.

  • Key the cache by session (or by ChatContext identity) and evict it when the session ends.
  • Fall back to a full re-encode when the prefix changes, e.g. history truncation or an edited system prompt.
  • Bound the memory per session and in total, since the cache trades memory for latency. This interacts with the KV cache compression proposed in #5351.

Hosted providers already do this: the openai, anthropic and google plugins all expose prompt caching.

Workarounds / Alternatives
  • Trim history aggressively, which loses context.
  • Use a server with prefix caching (vLLM, SGLang) through the openai plugin. That adds a separate service.
Additional Context
  • Follow-up to #7731 and related to #5351.
  • Prefix reuse pairs with batching (#7764): prefix caching cuts each turn's prefill; batching shares decode across sessions.
Lenguaje dominante
Python
Estrellas
14.6k
Forks
3.9k
Merge medio
2 d 23 h
PR fusionados (30 d)
177

Preparar el entorno

Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de livekit/agents

Todos los issues de livekit/agents

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.