[Feature]: Multiple ollama instances on single host support
I maintainer di solito rispondono entro 5 giorni
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 52/100
Direzione di ricerca
Inizia dai punti di ingresso di routing e scheduling che rilevano ed espongono le istanze Ollama. Traccia come vengono rappresentati l’endpoint Ollama e la configurazione di un nodo, quindi determina se due istanze debbano essere esposte come nodi separati o come endpoint su un singolo nodo. Convalida avviando due istanze Ollama su porte diverse con impostazioni GPU separate e confermando che entrambe compaiano nel cluster.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Area
Routing and scheduling
User problem
I have a system with two GPUs from different vendors, one being a nvidia GPU. I've had to setup two ollama instances locally on different ports to get this to work with different settings. I'd like to be able to expose both ollama instances to the cluster
Desired outcome
Both ollama instances show up for a node (or it appears as two nodes)
Alternatives considered
No response
Compatibility and security implications
No response
Validation approach
Launch two ollama instances on different ports, ideally with specific GPUs enabled for each
Confirmations
- I searched existing issues for duplicates.
- I agree to follow the Code of Conduct.
- Lingua principale
- Go
- Stelle
- 1.6k
- Fork
- 266
- Merge medio
- 3g 6h
- PR unite (30g)
- 22
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di NVIDIA/Personal-AI-Router
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 20/100
NVIDIA/Personal-AI-Router#165 ·
I maintainer di solito rispondono entro 5 giorni
-
bug
Difficoltà 4/5 3-5 giorni Idoneità per principianti 46/100
NVIDIA/Personal-AI-Router#164 ·
I maintainer di solito rispondono entro 5 giorni
-
enhancement
Difficoltà 4/5 Più di una settimana Idoneità per principianti 12/100
NVIDIA/Personal-AI-Router#162 ·
I maintainer di solito rispondono entro 5 giorni
-
enhancement
Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100
NVIDIA/Personal-AI-Router#154 · 1 commento ·
I maintainer di solito rispondono entro 5 giorni
-
[Feature]: [Ollama] Alert the user about model pull failuresForse già presa @ckelseynv l’ha presa 4 giorni fa. Apertaenhancement
Difficoltà 3/5 1-2 giorni Idoneità per principianti 56/100
NVIDIA/Personal-AI-Router#152 · 1 commento · 1 assegnatario ·
I maintainer di solito rispondono entro 5 giorni
Tutte le issue di NVIDIA/Personal-AI-Router
Issue simili
-
component/gpu-kubelet-plugin component/helm needs-triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
kubernetes-sigs/dra-driver-nvidia-gpu#1559 ·
I maintainer di solito rispondono entro 1 giorno
-
TOTP enrollment returns 500 for phone-only users (empty TOTP account name)Forse già presa @emiliosandoval4 l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 60/100
I maintainer di solito rispondono entro 1 giorno
-
8.9 to 8.10 Helm upgrade guide still says deprecated keys are removed in chart v16 (Camunda 8.11)Aperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 78/100
camunda/camunda-platform-helm#7559 ·
I maintainer di solito rispondono entro 1 giorno
-
docs: namespaceRegexes example teaches prefix matching, but regexes are matched as a substringForse già presa Una pull request collegata a questa issue è aperta o già unita. Apertatriage/pending-triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100
external-secrets/external-secrets#7117 ·
I maintainer di solito rispondono entro 2 giorni
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
ENTERPILOT/GoModel#1183 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno