[Feature]: Multiple ollama instances on single host support
維護者通常 5 天內回覆
還沒有人認領這個 Issue。
評估
研究方向
從發現並公開 Ollama 執行個體的 routing 和 scheduling 入口開始。追蹤節點的 Ollama endpoint 和 configuration 是如何表示的，然後判斷兩個執行個體應該作為獨立節點公開，還是作為單一節點上的 endpoint 公開。透過在不同連接埠上使用個別的 GPU 設定啟動兩個 Ollama 執行個體，並確認兩者都出現在叢集中來進行驗證。
由索引模型根據 Issue 內容生成。
描述
Area
Routing and scheduling
User problem
I have a system with two GPUs from different vendors, one being a nvidia GPU. I've had to setup two ollama instances locally on different ports to get this to work with different settings. I'd like to be able to expose both ollama instances to the cluster
Desired outcome
Both ollama instances show up for a node (or it appears as two nodes)
Alternatives considered
No response
Compatibility and security implications
No response
Validation approach
Launch two ollama instances on different ports, ideally with specific GPUs enabled for each
Confirmations
- I searched existing issues for duplicates.
- I agree to follow the Code of Conduct.
- 主要語言
- Go
- 星號
- 1.6k
- 分支
- 266
- 平均合併
- 3 天 6 小時
- 30 天內合併 PR
- 22
環境準備
- 沒有 Dockerfile 或 Docker Compose 檔案
- 有 Pull Request 範本
- 閱讀貢獻指南
從這裡開始
- 先讀完整個 Issue，再讀專案的貢獻指南。
- 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
- Fork 儲存庫，在一個分支上完成修改。
- 送出 Pull Request，並在描述裡引用這個 Issue 編號。
NVIDIA/Personal-AI-Router 的其他 Issue
-
難度 5/5 一週以上 新手友好度 20/100
NVIDIA/Personal-AI-Router#165 ·
維護者通常 5 天內回覆
-
bug
難度 4/5 3-5 天 新手友好度 46/100
NVIDIA/Personal-AI-Router#164 ·
維護者通常 5 天內回覆
-
enhancement
難度 4/5 一週以上 新手友好度 12/100
NVIDIA/Personal-AI-Router#162 ·
維護者通常 5 天內回覆
-
enhancement
難度 4/5 3-5 天 新手友好度 25/100
NVIDIA/Personal-AI-Router#154 · 1 則留言 ·
維護者通常 5 天內回覆
-
[Feature]: [Ollama] Alert the user about model pull failures可能已有人在做 @ckelseynv 於 3 天前認領。 未關閉enhancement
難度 3/5 1-2 天 新手友好度 56/100
NVIDIA/Personal-AI-Router#152 · 1 則留言 · 已指派 1 人 ·
維護者通常 5 天內回覆
查看 NVIDIA/Personal-AI-Router 的全部 Issue
相似的 Issue
-
難度 2/5 1-3 小時 新手友好度 82/100
-
agent-review-finding bug
難度 2/5 1-3 小時 新手友好度 68/100
jordansmall/spindrift#5281 ·
維護者通常 1 天內回覆
-
難度 2/5 1-3 小時 新手友好度 82/100
github/github-mcp-server#3489 ·
維護者通常 4 天內回覆
-
L: java:gradle L: java:maven L: ruby:bundler T: bug 🐞
難度 2/5 1-3 小時 新手友好度 76/100
dependabot/dependabot-core#16547 ·
維護者通常 1 天內回覆
-
Docs/examples still create key ranges in ascending order, which fails in 3.1.0 (follow-up to #1754)未關閉
難度 2/5 1-3 小時 新手友好度 68/100
pg-sharding/spqr#3083 ·
維護者通常 1 天內回覆