[idea] Docker 07/14: llama.cpp in the image
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 55/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Specificata chiaramente
- Stato di attività
- Attiva
- Stack tecnologico
- docker, javascript
- Ambito
- infrastructure
Direzione di ricerca
This is step 7 of the Docker work and depends on #2106, so wait for that issue to merge before starting. Read the linked Docker proposal and surfsense_local/electron/scripts/fetch-llamacpp.mjs, then inspect the Dockerfile and headless context. Done means the image supports local CPU chat, model changes restart llama-server through the preset watcher, and the fit estimate reports container memory.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Which part? Desktop app
What would you like?
Step 7 of 14 of #2100: running SurfSense in Docker. Depends on #2106; start once it is merged.
Local chat models in Docker, on the CPU.
Design: Docker proposal, The image
What to change
- Extend
surfsense_local/electron/scripts/fetch-llamacpp.mjswith the Linux CPU builds (bin-ubuntu-x64,bin-ubuntu-arm64) at the pinned build. - A
runtimesstage in the Dockerfile that runs it into/app/runtimes/llamacpp/. - The headless context sets the llama.cpp variables (
SURFSENSE_LOCAL_LLAMACPP_*), so the preset watcher and the fit probe work.
Done when
- Download a curated chat model in the app and chat with it locally.
- Changing the selection restarts llama-server through the preset watcher.
- The fit estimate reports the container's memory.
Scope: code and tests only. Don't edit docs/ or AGENTS.md, except to fix a link this change breaks; the maintainers update the docs when the Docker work ships.
Why would it help?
Each step leaves something that runs, so the Docker image is built and reviewed one piece at a time.
- Lingua principale
- Python
- Stelle
- 16.3k
- Fork
- 1.6k
- Merge medio
- 13h 17m
- PR unite (30g)
- 273
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di MODSetter/SurfSense
-
Security Scan: stop flagging pinned hashes and test fixtures on release PRsForse già presa @karthikeya1220 l’ha presa 1 giorno fa. Apertacode quality security
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
MODSetter/SurfSense#2225 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Check Apple notarization credentials on dry runs and weeklyForse già presa @Cedric921 l’ha presa 1 giorno fa. Apertadesktop
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
MODSetter/SurfSense#2224 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Release workflow: keep the macOS certificate off the Windows dry-run buildForse già presa @Cedric921 l’ha presa 1 giorno fa. Apertadesktop security
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
MODSetter/SurfSense#2223 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Write the ADR for chat modesForse già presa @Cedric921 l’ha presa 1 giorno fa. Apertaarchitecture desktop documentation
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
MODSetter/SurfSense#2220 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 73/100
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di MODSetter/SurfSense
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
huggingface/sentence-transformers#4186 ·
I maintainer di solito rispondono entro 5 giorni
-
documentation
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 92/100
QuantEcon/QuantEcon.py#988 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
fabriziosalmi/certmate#1247 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
I maintainer di solito rispondono entro 1 giorno
-
documentation good first issue
Difficoltà 2/5 Mezza giornata Idoneità per principianti 72/100
sujithputta02/Esapay#13 ·