提供OpenAI格式的查询接口
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 5/5
- Tempo estimado
- Mais de uma semana
- Facilidade para iniciantes
- 25/100
Direção de pesquisa
Nenhum arquivo de implementação ou teste é especificado. Comece revisando a interface existente de consulta ao cache do projeto e o caminho de integração para cache misses; em seguida, determine como um endpoint compatível com OpenAI, respostas em streaming e o tratamento de contextos longos se encaixariam. A conclusão exige um design de API definido e o comportamento documentado para cache hits, cache misses e o tratamento de contexto/vetores.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
请问开发者，ModelCache可以直接提供标准的OpenAI格式的查询接口吗，比如原先程序是直接调用在线LLM的，直接替换接口链接和模型name，实现无缝接入到缓存当中。
因为对于一些无法编辑改造查询方式的程序来说，可以直接通过替换OpenAI格式的模型接口，就可以实现直接接入ModelCache。因为缓存期待的是快速响应嘛，所以在没有命中缓存的情况下，调用在线LLM接口查询答案，并且以流式的形式返回从LLM拿到的答案，兼容这些特征。
还有一个疑惑：如果历史上下文、prompt较长的情况下，是否会影响整体召回的准确度，有没有考虑将用户消息、prompt、历史上下文分别存储、计算向量呢。还是说我们查询ModelCache的时候应该尽量精简篇幅，只保留用户消息。希望获得解答。谢谢
- Linguagem predominante
- Python
- Estrelas
- 932
- Forks
- 68
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Preparar o ambiente
- Inclui um Dockerfile ou arquivo Docker Compose
- Sem modelo de pull request
- Sem guia de contribuição
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de codefuse-ai/ModelCache
-
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 30/100
codefuse-ai/ModelCache#70 ·
Todas as issues de codefuse-ai/ModelCache
Issues semelhantes
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 84/100
-
bug
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 77/100
AstrBotDevs/AstrBot#10720 ·
Mantenedores costumam responder em até 1 dia
-
fix(xiaomi): curated picker list still offers six ids that return 400 (plan-limited vs retired)Abertacause/upstream comp/cli P2 provider/other tool/file type/bug
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
NousResearch/hermes-agent#143900 ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 1/5 1-3 horas Facilidade para iniciantes 85/100
WLAN-Pi/wlanpi-profiler#341 ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 77/100
Mantenedores costumam responder em até 1 dia