Auto-compact on idle, aligned to the model's prompt cache TTL

Đang mở
#4,724 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
48/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
shell
Lĩnh vực
cli

Hướng nghiên cứu

Bắt đầu bằng cách lần theo luồng compaction theo ngưỡng token hiện có và xác định nơi TTL của prompt cache của model đang hoạt động có sẵn. Xác định idle trigger dựa trên TTL đó, sau đó xác minh rằng turn tiếp theo sau một khoảng idle sử dụng context đã được compact thay vì đọc lại toàn bộ context chưa được cache.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

area:context-memory area:models
Describe the feature or problem you'd like to solve

Prompt cache TTL is ~5 min. After an idle gap the next turn re-reads the full context uncached, at a cost and latency that scale with context size. Compaction only triggers on token thresholds today (#1688, #2333), so the only workaround is running /compact manually before going idle.

Proposed solution

A time-based compaction trigger, with the idle threshold tied to the active model's cache TTL.

Example prompts or workflows

No response

Additional context

No response

Ngôn ngữ chính
Shell
Star
11.2k
Fork
1.9k
Merge trung bình
14 giờ 16 phút
Pull request đã merge (30 ngày)
6

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của github/copilot-cli

Tất cả issue của github/copilot-cli

Issue tương tự

Thêm issue về Shell/Bash

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.