Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

feat(hf): reuse the prompt KV cache across turns to keep time to first token flat

Đang mở
  • Có gì không ổn?
#7,765 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
35/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
python
Lĩnh vực
ai, performance

Hướng nghiên cứu

Start by reading the livekit-plugins-hf implementation introduced in #7731 and trace how it encodes ChatContext for each turn. Compare the tokenized prompt prefixes across turns and identify where past_key_values could be retained and invalidated. Done means safely reusing unchanged prefixes, falling back when history changes, and bounding cache memory per session and overall; coordinate this design with #5351.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Feature Type

Would make my life easier

Feature Description

livekit-plugins-hf (#7731) re-encodes the full prompt on every turn: system prompt, tools and the whole conversation so far. Earlier turns don't change between replies, but their attention keys and values are computed again each time. So time to first token grows with the length of the call.

Measured on Qwen2.5-0.5B-Instruct, Apple M4 (MPS), temperature=0, steady state (second pass, shapes warm):

conversation prompt tokens time to first token
first turn 36 52 ms
after 10 exchanges 846 257 ms
after 20 exchanges 1666 494 ms
after 40 exchanges 3306 1002 ms

A 20x slowdown over one call, on the smallest model. Larger models scale it further.

Proposal: keep each session's past_key_values between turns, and on the next turn feed only the tokens after the longest shared prefix.

  • Key the cache by session (or by ChatContext identity) and evict it when the session ends.
  • Fall back to a full re-encode when the prefix changes, e.g. history truncation or an edited system prompt.
  • Bound the memory per session and in total, since the cache trades memory for latency. This interacts with the KV cache compression proposed in #5351.

Hosted providers already do this: the openai, anthropic and google plugins all expose prompt caching.

Workarounds / Alternatives
  • Trim history aggressively, which loses context.
  • Use a server with prefix caching (vLLM, SGLang) through the openai plugin. That adds a separate service.
Additional Context
  • Follow-up to #7731 and related to #5351.
  • Prefix reuse pairs with batching (#7764): prefix caching cuts each turn's prefill; batching shares decode across sessions.
Ngôn ngữ chính
Python
Star
14.6k
Fork
3.9k
Merge trung bình
2 ngày 23 giờ
Pull request đã merge (30 ngày)
177

Chuẩn bị môi trường

Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của livekit/agents

Tất cả issue của livekit/agents

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.