Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

[Feature]: 会话过程中实时显示模型性能指标

Đang mở
#3,274 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
35/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
rust
Lĩnh vực
desktop, observability-sre

Hướng nghiên cứu

The issue names no files, tests, or entry points. Start by locating the session UI and the model-response metrics available to the desktop application, then determine which proposed display format and metrics are supported. Done means the chosen metrics update during a session and show the completed call's values clearly.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Problem / opportunity

目前 BitFun 在一次 Agent 会话过程中,用户无法直接看到模型的运行性能数据,比如:

  • 首 token 延迟:从发出请求到收到第一个 token 的耗时;
  • 生成速度:每次响应实际消耗多少时间、平均 token 生成速度;
  • 单轮消耗:本轮请求的 input / output token 数;
  • KV Cache 命中率 / 重用情况(README 中已有整体统计,但用户看不到当前会话的实时值)。

这对以下场景造成实际困扰:

  1. 调试慢响应时没有依据——不知道是网络慢、模型排队慢,还是上下文过长导致 TTFT 变慢。
Proposed behavior

在会话过程中实时显示模型的性能指标。具体形式可以考虑以下任一种(或组合):

方案 A:底部状态栏(推荐,侵入性最小)
在会话界面底部(或消息输入框附近)加一条细的状态栏,实时显示当前/最近一次调用的:

  • Tokens/s(生成速度,响应结束后固定为该轮平均值)
  • TTFT(首 token 延迟,仅响应过程中显示)
  • (可选)Cache hit 96%(当前会话的 KV Cache 重用率)

方案 B:单条消息的悬浮详情
每条 AI 回复的右下角显示一个小的 ⚙ 或 ⚡ 图标,hover / 点击后展开该次调用的详细元数据:

  • input / output token 数
  • 请求耗时、排队耗时、生成耗时
  • 是否命中 KV Cache、命中的块数

`

Ngôn ngữ chính
Rust
Star
2.3k
Fork
236
Merge trung bình
2 giờ 53 phút
Pull request đã merge (30 ngày)
404

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của GCWing/OpenBitFun

Tất cả issue của GCWing/OpenBitFun

Issue tương tự

Thêm issue về Rust

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.