提供OpenAI格式的查询接口
還沒有人認領這個 Issue。
評估
研究方向
未指定實作檔案或測試。首先檢視專案現有的快取查詢介面以及快取未命中時的整合路徑，然後確定如何納入相容於 OpenAI 的 endpoint、串流回應和長內容處理。完成的要求是確定 API 設計，並記錄快取命中、快取未命中以及內容/向量處理的行為。
由索引模型根據 Issue 內容生成。
描述
请问开发者，ModelCache可以直接提供标准的OpenAI格式的查询接口吗，比如原先程序是直接调用在线LLM的，直接替换接口链接和模型name，实现无缝接入到缓存当中。
因为对于一些无法编辑改造查询方式的程序来说，可以直接通过替换OpenAI格式的模型接口，就可以实现直接接入ModelCache。因为缓存期待的是快速响应嘛，所以在没有命中缓存的情况下，调用在线LLM接口查询答案，并且以流式的形式返回从LLM拿到的答案，兼容这些特征。
还有一个疑惑：如果历史上下文、prompt较长的情况下，是否会影响整体召回的准确度，有没有考虑将用户消息、prompt、历史上下文分别存储、计算向量呢。还是说我们查询ModelCache的时候应该尽量精简篇幅，只保留用户消息。希望获得解答。谢谢
- 主要語言
- Python
- 星號
- 932
- 分支
- 68
- PR 合併指標
- 30 天內沒有已合併 PR
環境準備
- 提供 Dockerfile 或 Docker Compose 檔案
- 沒有 Pull Request 範本
- 沒有貢獻指南
從這裡開始
- 先讀完整個 Issue，再讀專案的貢獻指南。
- 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
- Fork 儲存庫，在一個分支上完成修改。
- 送出 Pull Request，並在描述裡引用這個 Issue 編號。
codefuse-ai/ModelCache 的其他 Issue
-
難度 5/5 一週以上 新手友好度 30/100
codefuse-ai/ModelCache#70 ·
查看 codefuse-ai/ModelCache 的全部 Issue
相似的 Issue
-
intake mcp-intake needs-ac needs-human-review priority:medium
難度 2/5 1-3 小時 新手友好度 67/100
Ikalus1988/MisakaNet#3848 · 2 則留言 ·
維護者通常 1 天內回覆
-
難度 1/5 1 小時以內 新手友好度 75/100
521xueweihan/HelloGitHub#4105 ·
-
難度 2/5 1-3 小時 新手友好度 75/100
igormcsouza/bookloud#54 ·
-
難度 1/5 1 小時以內 新手友好度 90/100
aws-samples/sample-per-model-bedrock#526 ·
維護者通常 1 天內回覆
-
難度 2/5 1-3 小時 新手友好度 78/100
ok-oldking/ok-wuthering-waves#1802 ·
維護者通常 2 天內回覆