提供OpenAI格式的查询接口
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Accessibilité débutants
- 25/100
Piste de recherche
Aucun fichier d’implémentation ni test n’est indiqué. Commencez par examiner l’interface existante d’interrogation du cache du projet ainsi que le chemin d’intégration pour les cache misses, puis déterminez comment un endpoint compatible avec OpenAI, les réponses en streaming et la gestion des contextes longs pourraient s’y intégrer. La tâche est considérée comme terminée lorsqu’un design d’API est arrêté et que le comportement pour les cache hits, les cache misses et la gestion du contexte/des vecteurs est documenté.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
请问开发者，ModelCache可以直接提供标准的OpenAI格式的查询接口吗，比如原先程序是直接调用在线LLM的，直接替换接口链接和模型name，实现无缝接入到缓存当中。
因为对于一些无法编辑改造查询方式的程序来说，可以直接通过替换OpenAI格式的模型接口，就可以实现直接接入ModelCache。因为缓存期待的是快速响应嘛，所以在没有命中缓存的情况下，调用在线LLM接口查询答案，并且以流式的形式返回从LLM拿到的答案，兼容这些特征。
还有一个疑惑：如果历史上下文、prompt较长的情况下，是否会影响整体召回的准确度，有没有考虑将用户消息、prompt、历史上下文分别存储、计算向量呢。还是说我们查询ModelCache的时候应该尽量精简篇幅，只保留用户消息。希望获得解答。谢谢
- Langage dominant
- Python
- Étoiles
- 932
- Forks
- 68
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Préparer son environnement
- Fournit un Dockerfile ou un fichier Docker Compose
- Aucun modèle de pull request
- Aucun guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de codefuse-ai/ModelCache
-
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 30/100
codefuse-ai/ModelCache#70 ·
Toutes les issues de codefuse-ai/ModelCache
Issues similaires
-
Difficulté 2/5 1-3 heures Accessibilité débutants 62/100
foxglove/mcap#1907 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
namespace operations
Difficulté 1/5 Moins d'une heure Accessibilité débutants 72/100
EclipseFdn/open-vsx.org#14623 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 76/100
developmentseed/titiler-cmr#261 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
andrewyng/openworker#774 ·
Les mainteneurs répondent en général sous 1 jour
-
aggfuncOuverte
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
worldbank/blackmarblepy#160 ·