presence_penalty and repetition_penalty in completions endpoint

Description

Guia do colaborador

Pilha de tecnologia

pythonrest api

Domain

backendapi

Tipo Issue

feature

DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.

3

Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.

1-3 hours

Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.

fresh

ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.

clear

Prerequisites

Familiarity with FastChat codebaseUnderstanding of OpenAI API parameters

Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.

60

Direção de pesquisa

Start by examining the current implementation of the completions endpoint in FastChat. Look for how existing parameters like temperature are parsed and passed to the underlying model. The `presence penalty` and `repetition penalty` are standard OpenAI API parameters that control output diversity. Check if the OpenAI wrapper used in FastChat already supports these parameters or if they need to be added. Examine the relevant files in the `fastchat/serve` directory, particularly the model worker and controller. Ensure that the new parameters are added to the request schema and passed through to the model call. The issue has only one comment from a maintainer (if any), so no additional clarification is needed, but it may be worth asking if the parameters should be implemented at the API level or if they are already available but undocumented.