/v1/models/capabilities -- wrong default for context_size
Los mantenedores suelen responder en 3 días
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 2/5
- Tiempo estimado
- 1-3 horas
- Aptitud para principiantes
- 68/100
Línea de trabajo
Comienza en el endpoint /v1/models/capabilities y sigue cómo se selecciona context_size cuando un YAML de modelo no tiene ningún valor. Verifica el comportamiento con el valor configurado en Settings → Performance → Default Context Size, y considera que el issue está resuelto cuando el endpoint devuelva ese valor predeterminado en lugar de 4096.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
LocalAI version:
docker.io/localai/localai:latest-gpu-hipblas (v4.10.0 (7ad0cbf259f0c7bf9920fe2438fc3630ecd6c672))
Environment, CPU architecture, OS, and Version:
Linux, amd64, PikaOS (Debian Testing-based), latest
Describe the bug
The API endpoint /v1/models/capabilities returns 4096 for a model that has no context_size configured. I would expect Settings -> Performance -> Default Context Size to be used.
To Reproduce
- configure a model with no context_size set in its YAML config
- Go to
hostname/v1/models/capabilities
Expected behavior
Default context size is used when a model is not configured
Logs
not relevant
Additional context
🐈
- Lenguaje dominante
- Go
- Estrellas
- 49.2k
- Forks
- 4.5k
- Merge medio
- 19 h 42 min
- PR fusionados (30 d)
- 299
Preparar el entorno
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de mudler/LocalAI
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
mudler/LocalAI#12264 · 1 comentario ·
Los mantenedores suelen responder en 3 días
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
mudler/LocalAI#11995 · 1 comentario ·
Los mantenedores suelen responder en 3 días
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
mudler/LocalAI#11991 · 1 comentario ·
Los mantenedores suelen responder en 3 días
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
mudler/LocalAI#11973 · 1 comentario ·
Los mantenedores suelen responder en 3 días
-
Quantization import always writes backend: llama-cpp, ignoring the backend that produced the modelAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 3 días
Todos los issues de mudler/LocalAI
Issues similares
-
bug needs triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 1 día
-
bug P2 reliability
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
afreidah/s3-orchestrator#1564 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
blinklabs-io/gouroboros#2577 ·
Los mantenedores suelen responder en 1 día
-
agentic-workflows
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
Los mantenedores suelen responder en 1 día