presence_penalty and repetition_penalty in completions endpoint

Beschreibung

Contributor Guide

Tech Stack

pythonrest api

Domain

backendapi

Issue Type

feature

SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.

3

Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.

1-3 hours

AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.

fresh

KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.

clear

Voraussetzungen

Familiarity with FastChat codebaseUnderstanding of OpenAI API parameters

EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.

60

Research-Richtung

Start by examining the current implementation of the completions endpoint in FastChat. Look for how existing parameters like temperature are parsed and passed to the underlying model. The `presence penalty` and `repetition penalty` are standard OpenAI API parameters that control output diversity. Check if the OpenAI wrapper used in FastChat already supports these parameters or if they need to be added. Examine the relevant files in the `fastchat/serve` directory, particularly the model worker and controller. Ensure that the new parameters are added to the request schema and passed through to the model call. The issue has only one comment from a maintainer (if any), so no additional clarification is needed, but it may be worth asking if the parameters should be implemented at the API level or if they are already available but undocumented.