docker-compose.yaml default model phi-2 no longer exists in the gallery
Los mantenedores suelen responder en 3 días
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Aptitud para principiantes
- 84/100
Línea de trabajo
Inspecciona docker-compose.yaml y gallery/index.yaml para elegir un modelo predeterminado disponible y, después, revisa core/startup/model_preload.go alrededor de las líneas 44 y 57. Reproduce el fallo con docker compose up -d y docker compose logs api. Se considera terminado cuando el modelo predeterminado existe en la galería y los registros de inicio informan de los errores reales de descubrimiento e instalación sin el mensaje de formateo de nil.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
LocalAI version:
quay.io/go-skynet/local-ai:master-gpu-nvidia-cuda-13 (sha256:02e823f5f25ddef3f4edb94a8960e506daa4f71595d7c75b041d52b6eaaf425b, LocalAI bcf196d), docker-compose.yaml at the same commit.
Environment, CPU architecture, OS, and Version:
Docker Desktop 29.7.2 (Compose 5.5.1) on Windows 11 (WSL2), x86_64.
Describe the bug
docker-compose.yaml starts LocalAI with command: [phi-2], but the gallery has no phi-2 entry anymore. gallery/index.yaml only has phi-2-chat, phi-2-chat:Q8_0 and phi-2-orange. On a fresh docker compose up, the gallery lookup fails, startup falls through to the autoimporter, which can't handle a bare name, and LocalAI comes up with no model installed. For people following the quickstart, the first thing they see is an error.
There is also a small bug in how that error is reported. core/startup/model_preload.go:57 does
err = errors.Join(discoverErr, fmt.Errorf("failed to discover model config: %w", err))
It wraps the accumulated err (still nil at that point) instead of discoverErr. This produces the log line failed to discover model config: %!w(<nil>). Line 44 (xlog.Error("[startup] failed installing model", "error", err, ...)) has the same pattern: it logs the accumulated err instead of the per-model e.
To Reproduce
docker compose up -dwith the repository'sdocker-compose.yaml.docker compose logs api
Expected behavior
The default compose file installs a working model, or at least one that exists in the gallery, and the error message names the actual error.
Logs
ERROR [startup] failed to discover model config error=no importer matched for phi-2 model="phi-2"
ERROR error installing models error=no importer matched for phi-2
failed to discover model config: %!w(<nil>)
Additional context
Suggested fixes: point the compose default at an existing gallery entry (for example phi-2-chat, or a more current small model), and wrap discoverErr / log e in model_preload.go.
- Lenguaje dominante
- Go
- Estrellas
- 49.2k
- Forks
- 4.5k
- Merge medio
- 1 d 7 h
- PR fusionados (30 d)
- 340
Preparar el entorno
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de mudler/LocalAI
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
mudler/LocalAI#11995 · 1 comentario ·
Los mantenedores suelen responder en 3 días
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
mudler/LocalAI#11991 · 1 comentario ·
Los mantenedores suelen responder en 3 días
-
fish-speech: make compile:true usable on Blackwell sm_121 by honouring the CUDA toolkit's ptxasAbiertoenhancement
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
mudler/LocalAI#11348 · 1 comentario ·
Los mantenedores suelen responder en 3 días
-
feat: add automatic MCP transport selection for 2024-11-05 / 2025-03-26 / 2025-06-18 vs 2025-11-25Abiertoenhancement
Dificultad 3/5 1-2 días Aptitud para principiantes 65/100
mudler/LocalAI#12262 · 2 comentarios ·
Los mantenedores suelen responder en 3 días
-
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
Los mantenedores suelen responder en 3 días
Todos los issues de mudler/LocalAI
Issues similares
-
Remove CAAPFAbiertokind/chore kind/cleanup needs-area
Dificultad 2/5 1-3 horas Aptitud para principiantes 86/100
rancher/turtles#2848 · 3 comentarios ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 1 día
-
good first issue
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
Los mantenedores suelen responder en 1 día
-
priority: low 🌱 type: enhancement 💅🏼
Dificultad 2/5 Medio día Aptitud para principiantes 84/100
nebari-dev/llm-serving-pack#199 ·
Los mantenedores suelen responder en 3 días
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 90/100
kedacore/keda#8225 · 1 comentario ·
Los mantenedores suelen responder en 1 día