Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

Feature: per-virtual-model default request parameters (extra_body, e.g. chat_template_kwargs)

Aperta
  • Qualcosa non va?
#1,287 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
48/100
Tipo di issue
Funzionalità
Chiarezza
Abbastanza chiara
Stato di attività
Attiva
Stack tecnologico
go, yaml
Ambito
api, backend

Direzione di ricerca

Start by reading the virtual model configuration and request forwarding paths; the issue names no files or tests. Trace how client request fields reach the upstream body, then determine where per-model or per-target defaults and the default-versus-override choice belong. Done means configured defaults are merged with the documented precedence and existing client values continue to pass through.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Is your feature request related to a problem? Please describe.
Some self-hosted models need extra request fields that clients do not know about. Example: Qwen3 on an OpenAI-compatible MLX/vLLM server needs chat_template_kwargs: {enable_thinking: false} to answer directly instead of emitting a long reasoning block. Clients (Home Assistant, Paperless, Frigate…) only send a model name, so the gateway is the natural place to add it. LiteLLM supports this with litellm_params.extra_body per deployment.

Describe the solution you'd like
Per virtual model (or per target) default request parameters merged into the upstream body, with a choice between "default" (client value wins) and "override" (gateway value wins), e.g.:

virtual_models:
  - source: chat
    strategy: failover
    request_defaults:            # or extra_body
      chat_template_kwargs: {enable_thinking: false}
    targets:
      - {model: server1/Qwen3.5-4B}
      - {model: server2/Qwen3.5-4B}

Describe alternatives you've considered

  • #1205 (reasoning effort override) is related but limited to reasoning_effort; a generic body-defaults mechanism would cover it as one case.
  • Configuring the default on each upstream server: possible on some servers, but it duplicates configuration on every machine and leaves it outside the gateway's config-as-code.

Additional context
Migration from LiteLLM (extra_body). Client-sent chat_template_kwargs already pass through GoModel correctly; only server-side injection is missing.

Lingua principale
Go
Stelle
1.2k
Fork
111
Merge medio
1g 6h
PR unite (30g)
140

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di ENTERPILOT/GoModel

Tutte le issue di ENTERPILOT/GoModel

Issue simili

Altre issue su Go

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.