[Feature]: Add various metrics to routing returns.
維護者通常 5 天內回覆
還沒有人認領這個 Issue。
評估
研究方向
未指定檔案、測試或進入點。先追蹤請求如何完成，以及所選節點如何表示在回傳值中；與維護者確認預期的回應形狀和記錄日誌的路徑。完成的標準是：請求所使用的節點可供呼叫端用於記錄日誌，且不會破壞現有的消費者。
由索引模型根據 Issue 內容生成。
描述
Area
Desktop experience
User problem
In most cases you will want to log the [Prompt Tokens], [Completion Tokens], [Total Tokens],[Tokens per Second], [SystemPrompt], [UserPrompt],[Response],[Endpoint].
Desired outcome
In most cases you will want to log the [Prompt Tokens], [Completion Tokens], [Total Tokens],[Tokens per Second], [SystemPrompt], [UserPrompt],[Response],[Endpoint].
Alternatives considered
A method to tie Nvidia Pair to log all calls including which node was used for Prompt logging.
Compatibility and security implications
No response
Validation approach
No response
Confirmations
- I searched existing issues for duplicates.
- I agree to follow the Code of Conduct.
- 主要語言
- Go
- 星號
- 1.6k
- 分支
- 266
- 平均合併
- 3 天 6 小時
- 30 天內合併 PR
- 22
環境準備
- 沒有 Dockerfile 或 Docker Compose 檔案
- 有 Pull Request 範本
- 閱讀貢獻指南
從這裡開始
- 先讀完整個 Issue，再讀專案的貢獻指南。
- 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
- Fork 儲存庫，在一個分支上完成修改。
- 送出 Pull Request，並在描述裡引用這個 Issue 編號。
NVIDIA/Personal-AI-Router 的其他 Issue
-
難度 5/5 一週以上 新手友好度 20/100
NVIDIA/Personal-AI-Router#165 ·
維護者通常 5 天內回覆
-
bug
難度 4/5 3-5 天 新手友好度 46/100
NVIDIA/Personal-AI-Router#164 ·
維護者通常 5 天內回覆
-
enhancement
難度 4/5 一週以上 新手友好度 12/100
NVIDIA/Personal-AI-Router#162 ·
維護者通常 5 天內回覆
-
enhancement
難度 4/5 3-5 天 新手友好度 25/100
NVIDIA/Personal-AI-Router#154 · 1 則留言 ·
維護者通常 5 天內回覆
-
[Feature]: [Ollama] Alert the user about model pull failures可能已有人在做 @ckelseynv 於 4 天前認領。 未關閉enhancement
難度 3/5 1-2 天 新手友好度 56/100
NVIDIA/Personal-AI-Router#152 · 1 則留言 · 已指派 1 人 ·
維護者通常 5 天內回覆
查看 NVIDIA/Personal-AI-Router 的全部 Issue
相似的 Issue
-
component/gpu-kubelet-plugin component/helm needs-triage
難度 2/5 1-3 小時 新手友好度 62/100
kubernetes-sigs/dra-driver-nvidia-gpu#1559 ·
維護者通常 1 天內回覆
-
TOTP enrollment returns 500 for phone-only users (empty TOTP account name)可能已有人在做 @emiliosandoval4 今天認領。 未關閉
難度 2/5 1-3 小時 新手友好度 60/100
維護者通常 1 天內回覆
-
8.9 to 8.10 Helm upgrade guide still says deprecated keys are removed in chart v16 (Camunda 8.11)未關閉
難度 1/5 1 小時以內 新手友好度 78/100
camunda/camunda-platform-helm#7559 ·
維護者通常 1 天內回覆
-
docs: namespaceRegexes example teaches prefix matching, but regexes are matched as a substring可能已有人在做 關聯的 PR 仍在進行中或已合併。 未關閉triage/pending-triage
難度 2/5 1-3 小時 新手友好度 74/100
external-secrets/external-secrets#7117 ·
維護者通常 2 天內回覆
-
bug
難度 2/5 1-3 小時 新手友好度 72/100
ENTERPILOT/GoModel#1183 · 1 則留言 ·
維護者通常 1 天內回覆