Evaluation: Tracking overall latency
維護者通常 1 天內回覆
@AkhileshNegi 已經在處理了。
開始於 2026年7月10日。
評估
這個 Issue 還沒有評估資料。
描述
Is your feature request related to a problem?
We lack visibility on the overall evaluation process latency, which affects our ability to identify bottlenecks and optimize performance.
Describe the solution you'd like
- Track overall evaluation latency
- Breakdown latency for cosine score and LLM judge score
- Identify latency added by kaapi
- Explore scope for improvement in latency
Original issue
Tracking below for fast evals (observability)
- Tracking Evals overall latency
- Breakup for latency for cosine score, latency for llm judge score
- Latency added by kaapi ?
Basis above, explore scope for improvement on the latency
- 主要語言
- Python
- 星號
- 18
- 分支
- 11
- 平均合併
- 2 天 2 小時
- 30 天內合併 PR
- 33
環境準備
- 提供 Dockerfile 或 Docker Compose 檔案
- 有 Pull Request 範本
- 閱讀貢獻指南
從這裡開始
- 先讀完整個 Issue，再讀專案的貢獻指南。
- 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
- Fork 儲存庫，在一個分支上完成修改。
- 送出 Pull Request，並在描述裡引用這個 Issue 編號。
ProjectTech4DevAI/kaapi-backend 的其他 Issue
-
bug
難度 2/5 1-3 小時 新手友好度 68/100
ProjectTech4DevAI/kaapi-backend#889 ·
維護者通常 1 天內回覆
-
Sentry: Add module and version tags可能已有人在做 @vprashrex 於 1 天前認領。 未關閉
ProjectTech4DevAI/kaapi-backend#1305 · 已指派 1 人 ·
維護者通常 1 天內回覆
-
Observability: Cron enhancements可能已有人在做 @vprashrex 於 2 天前認領。 未關閉
ProjectTech4DevAI/kaapi-backend#1304 · 已指派 1 人 ·
維護者通常 1 天內回覆
-
Otel: Standardize key constants可能已有人在做 @vprashrex 於 5 天前認領。 未關閉
ProjectTech4DevAI/kaapi-backend#1294 · 已指派 1 人 ·
維護者通常 1 天內回覆
-
Chabot: Server-side chatbot state management可能已有人在做 @Ayush8923 於 5 天前認領。 未關閉
ProjectTech4DevAI/kaapi-backend#1278 · 已指派 1 人 ·
維護者通常 1 天內回覆
查看 ProjectTech4DevAI/kaapi-backend 的全部 Issue
相似的 Issue
-
bug P2 rust
難度 2/5 1-3 小時 新手友好度 82/100
維護者通常 1 天內回覆
-
enhancement
難度 2/5 1-3 小時 新手友好度 72/100
jscott3201/rusty-bacnet#2085 ·
維護者通常 1 天內回覆
-
難度 2/5 1-3 小時 新手友好度 84/100
evarness-ai/iris-harness#401 ·
-
難度 2/5 1-3 小時 新手友好度 76/100
sistemicorp/scripts#62 ·
-
area/mac help wanted needs-qa
難度 1/5 1 小時以內 新手友好度 76/100