提供OpenAI格式的查询接口
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 25/100
Hướng nghiên cứu
Không có tệp triển khai hoặc bài kiểm thử nào được nêu tên. Hãy bắt đầu bằng cách xem xét giao diện truy vấn cache hiện có của dự án và đường tích hợp cho các cache miss, sau đó xác định cách một endpoint tương thích với OpenAI, các phản hồi streaming và việc xử lý ngữ cảnh dài sẽ phù hợp như thế nào. Hoàn thành yêu cầu phải bao gồm một thiết kế API đã được thống nhất và hành vi được ghi lại cho cache hit, cache miss và việc xử lý ngữ cảnh/vector.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
请问开发者，ModelCache可以直接提供标准的OpenAI格式的查询接口吗，比如原先程序是直接调用在线LLM的，直接替换接口链接和模型name，实现无缝接入到缓存当中。
因为对于一些无法编辑改造查询方式的程序来说，可以直接通过替换OpenAI格式的模型接口，就可以实现直接接入ModelCache。因为缓存期待的是快速响应嘛，所以在没有命中缓存的情况下，调用在线LLM接口查询答案，并且以流式的形式返回从LLM拿到的答案，兼容这些特征。
还有一个疑惑：如果历史上下文、prompt较长的情况下，是否会影响整体召回的准确度，有没有考虑将用户消息、prompt、历史上下文分别存储、计算向量呢。还是说我们查询ModelCache的时候应该尽量精简篇幅，只保留用户消息。希望获得解答。谢谢
- Ngôn ngữ chính
- Python
- Star
- 932
- Fork
- 68
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
- Có Dockerfile hoặc tệp Docker Compose
- Không có mẫu pull request
- Không có hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của codefuse-ai/ModelCache
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 30/100
codefuse-ai/ModelCache#70 ·
Tất cả issue của codefuse-ai/ModelCache
Issue tương tự
-
Validate non-divisible effective batch sizes in the Unsloth LoRA backendCó thể đã có người làm @debesh-biswas đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
-
`rx.Model` event arguments emit `PydanticDeprecatedSince20` once per payload keyCó thể đã có người làm Có pull request liên kết đang mở hoặc đã được merge. Đang mở
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 88/100
reflex-dev/reflex#7634 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 2 ngày
-
documentation
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 82/100
topoteretes/cognee#6239 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
ranaroussi/yfinance#3009 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Test discovery aborts on GPU builds without cuStateVec: check_cuStateVec expects a failed result but set_config() now raises RuntimeErrorCó thể đã có người làm @dmeliksetian đã nhận hôm nay. Đang mởbug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100
Qiskit/qiskit-aer#2495 ·
Maintainer thường phản hồi trong vòng 1 ngày