Add question caching
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 20/100
Direzione di ricerca
Inizia con il flusso chat_completion proposto e traccia il percorso esistente della richiesta RAG, inclusi la generazione degli embedding, la ricerca vettoriale, la cronologia della chat e la generazione della completion. Definisci l’archiviazione della cache, il comportamento di corrispondenza e il valore restituito in caso di cache hit prima dell’implementazione; done deve includere cache hit e cache miss funzionanti, con test per entrambi i percorsi.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Description
Add a question caching feature. Pseudocode based on other repo-
def chat_completion(user_input):
# Generate embeddings from the user input
user_embeddings = generate_embeddings(openai_client, user_input)
# Query the chat history cache first to see if this question has been asked before
cache_results = cache_search(vectors=user_embeddings , num_results=1)
if len(cache_results) > 0:
return cache_results[0]['completion'], True
else:
# Perform vector search
search_results = get_similar_docs(openai_client, dbsource, user_input, 3)
print("Getting Chat History\n")
# Chat history
chat_history = get_chat_history(1)
# Generate the completion
print("Generating completions \n")
completions_results = generatecompletionede(user_input, search_results, chat_history)
# Cache the response
cacheresponse(user_input, user_embeddings, completions_results)
print("\n")
# Return the generated LLM completion
return completions_results['choices'][0]['message']['content'], False
- Lingua principale
- Python
- Stelle
- 505
- Fork
- 1.1k
- Merge medio
- 3g 13h
- PR unite (30g)
- 1
Guida per i contributori
Apri la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di Azure-Samples/rag-postgres-openai-python
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 35/100
Azure-Samples/rag-postgres-openai-python#288 · 1 commento ·
-
Azure-Samples/rag-postgres-openai-python#273 · 1 assegnatario ·
-
Azure-Samples/rag-postgres-openai-python#269 · 1 reazione · 1 assegnatario ·
-
Azure-Samples/rag-postgres-openai-python#261 · 1 reazione · 1 assegnatario ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
Tutte le issue di Azure-Samples/rag-postgres-openai-python
Issue simili
-
essnmx good first issue
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 95/100
-
[Feature] 奇物选择添加优先级 Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
syfoud/Simulated_Scepter#174 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
Giskard-AI/giskard-oss#2840 · 1 commento ·
-
A claim comment carrying the issue number is silently declined while the workflow reports success Apertaarea: repo bug perceived difficulty: 2
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
yeti-platform/yeti#1380 ·