zilliztech/GPTCache

[Feature]: Support more configs for openAI models

Open

#237 aperta il 18 apr 2023

Vedi su GitHub
 (3 commenti) (0 reazioni) (1 assegnatario)Python (407 fork)batch import
help wanted

Metriche repository

Star
 (5857 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

Is your feature request related to a problem? Please describe.

Due to the document of openAI, we missed some major parameters of openAI document, see:

https://platform.openai.com/docs/api-reference/completions/create

  1. max_tokens? just bypass to GPT for now
  2. temperature: there are couple things we can do,
    1. randomly pick answer from returned result if they are all very similar.
    2. edit the answer with another small model：For instance image -> https://huggingface.co/lambdalabs/sd-image-variations-diffusers
  3. n -> if there no enough cached result, we will need to generate from OpenAI anyway.
  4. bestof -> control the topk numbers we want to retrieved from cache

Describe the solution you'd like.

No response

Describe an alternate solution.

No response

Anything else? (Additional Context)

No response

Guida contributor

Direzione di ricerca
Implementare i parametri mancanti di OpenAI completions (max tokens, temperature, n, best of) in GPTCache. Studiare la gestione corrente dei parametri e la documentazione API di OpenAI per aggiungere il supporto per questi campi.
Tech stack
python
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
PythonOpenAI API
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60