[Feature]: Add various metrics to routing returns.
维护者通常 5 天内回复
还没有人认领这个 Issue。
评估
调研方向
未指定文件、测试或入口点。首先跟踪请求是如何完成的，以及所选节点如何表示在返回值中；与维护者确认预期的响应形状和日志记录路径。完成的标准是：请求所使用的节点可供调用方用于日志记录，且不会破坏现有消费者。
由索引模型根据 Issue 内容生成。
描述
Area
Desktop experience
User problem
In most cases you will want to log the [Prompt Tokens], [Completion Tokens], [Total Tokens],[Tokens per Second], [SystemPrompt], [UserPrompt],[Response],[Endpoint].
Desired outcome
In most cases you will want to log the [Prompt Tokens], [Completion Tokens], [Total Tokens],[Tokens per Second], [SystemPrompt], [UserPrompt],[Response],[Endpoint].
Alternatives considered
A method to tie Nvidia Pair to log all calls including which node was used for Prompt logging.
Compatibility and security implications
No response
Validation approach
No response
Confirmations
- I searched existing issues for duplicates.
- I agree to follow the Code of Conduct.
- 主要语言
- Go
- 星标
- 1.6k
- 派生
- 266
- 平均合并
- 3 天 6 小时
- 30 天内合并 PR
- 22
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
NVIDIA/Personal-AI-Router 的其他 Issue
-
难度 5/5 一周以上 新手友好度 20/100
NVIDIA/Personal-AI-Router#165 ·
维护者通常 5 天内回复
-
bug
难度 4/5 3-5 天 新手友好度 46/100
NVIDIA/Personal-AI-Router#164 ·
维护者通常 5 天内回复
-
enhancement
难度 4/5 一周以上 新手友好度 12/100
NVIDIA/Personal-AI-Router#162 ·
维护者通常 5 天内回复
-
enhancement
难度 4/5 3-5 天 新手友好度 25/100
NVIDIA/Personal-AI-Router#154 · 1 条评论 ·
维护者通常 5 天内回复
-
[Feature]: [Ollama] Alert the user about model pull failures可能已有人在做 @ckelseynv 于 2 天前认领。 未关闭enhancement
难度 3/5 1-2 天 新手友好度 56/100
NVIDIA/Personal-AI-Router#152 · 1 条评论 · 已指派 1 人 ·
维护者通常 5 天内回复
查看 NVIDIA/Personal-AI-Router 的全部 Issue
相似的 Issue
-
难度 2/5 1-3 小时 新手友好度 70/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 73/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 63/100
维护者通常 1 天内回复
-
product/backlog
难度 2/5 1-3 小时 新手友好度 75/100
TencentBlueKing/bk-nodemgr#3645 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 74/100
modelcontextprotocol/go-sdk#1387 ·
维护者通常 1 天内回复