/v1/models/capabilities -- wrong default for context_size
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 2/5
- Tempo stimato
- 1-3 ore
- Idoneità per principianti
- 68/100
Direzione di ricerca
Inizia dall’endpoint /v1/models/capabilities e traccia come viene selezionato context_size quando uno YAML di modello non contiene alcun valore. Verifica il comportamento con il valore configurato in Settings → Performance → Default Context Size e considera completata l’issue quando l’endpoint restituisce quel valore predefinito invece di 4096.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
LocalAI version:
docker.io/localai/localai:latest-gpu-hipblas (v4.10.0 (7ad0cbf259f0c7bf9920fe2438fc3630ecd6c672))
Environment, CPU architecture, OS, and Version:
Linux, amd64, PikaOS (Debian Testing-based), latest
Describe the bug
The API endpoint /v1/models/capabilities returns 4096 for a model that has no context_size configured. I would expect Settings -> Performance -> Default Context Size to be used.
To Reproduce
- configure a model with no context_size set in its YAML config
- Go to
hostname/v1/models/capabilities
Expected behavior
Default context size is used when a model is not configured
Logs
not relevant
Additional context
🐈
- Lingua principale
- Go
- Stelle
- 49.2k
- Fork
- 4.5k
- Merge medio
- 1g 7h
- PR unite (30g)
- 357
Preparare l'ambiente
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di mudler/LocalAI
-
bug unconfirmed
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
mudler/LocalAI#12337 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
mudler/LocalAI#11995 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
mudler/LocalAI#11991 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
fish-speech: make compile:true usable on Blackwell sm_121 by honouring the CUDA toolkit's ptxasApertaenhancement
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
mudler/LocalAI#11348 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
bug unconfirmed
Difficoltà 4/5 3-5 giorni Idoneità per principianti 70/100
mudler/LocalAI#12331 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di mudler/LocalAI
Issue simili
-
bug
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 92/100
open-telemetry/opentelemetry-go-compile-instrumentation#1417 ·
I maintainer di solito rispondono entro 2 giorni
-
agent-research-finding agent-research-recommend chore ready-for-agent
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
jordansmall/spindrift#4068 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Type/Task
Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100
OpenNSW/nsw-srilanka#537 ·
I maintainer di solito rispondono entro 1 giorno
-
security
Difficoltà 2/5 1-2 giorni Idoneità per principianti 62/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 90/100
I maintainer di solito rispondono entro 1 giorno