[Feature]: Multiple ollama instances on single host support
Maintainer thường phản hồi trong vòng 5 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 52/100
Hướng nghiên cứu
Bắt đầu với các điểm vào của routing và scheduling dùng để phát hiện và expose các Ollama instance. Theo dõi cách Ollama endpoint và configuration của một node được biểu diễn, sau đó xác định xem hai instance nên được expose dưới dạng các node riêng biệt hay dưới dạng các endpoint trên một node. Xác thực bằng cách khởi chạy hai Ollama instance trên các port khác nhau với các GPU setting riêng biệt và xác nhận rằng cả hai đều xuất hiện trong cluster.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Area
Routing and scheduling
User problem
I have a system with two GPUs from different vendors, one being a nvidia GPU. I've had to setup two ollama instances locally on different ports to get this to work with different settings. I'd like to be able to expose both ollama instances to the cluster
Desired outcome
Both ollama instances show up for a node (or it appears as two nodes)
Alternatives considered
No response
Compatibility and security implications
No response
Validation approach
Launch two ollama instances on different ports, ideally with specific GPUs enabled for each
Confirmations
- I searched existing issues for duplicates.
- I agree to follow the Code of Conduct.
- Ngôn ngữ chính
- Go
- Star
- 1.6k
- Fork
- 266
- Merge trung bình
- 3 ngày 6 giờ
- Pull request đã merge (30 ngày)
- 22
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của NVIDIA/Personal-AI-Router
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 20/100
NVIDIA/Personal-AI-Router#165 ·
Maintainer thường phản hồi trong vòng 5 ngày
-
bug
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 46/100
NVIDIA/Personal-AI-Router#164 ·
Maintainer thường phản hồi trong vòng 5 ngày
-
enhancement
Độ khó 4/5 Hơn một tuần Mức phù hợp với người mới 12/100
NVIDIA/Personal-AI-Router#162 ·
Maintainer thường phản hồi trong vòng 5 ngày
-
enhancement
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
NVIDIA/Personal-AI-Router#154 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 5 ngày
-
[Feature]: [Ollama] Alert the user about model pull failuresCó thể đã có người làm @ckelseynv đã nhận 3 ngày trước. Đang mởenhancement
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 56/100
NVIDIA/Personal-AI-Router#152 · 1 bình luận · 1 người được giao ·
Maintainer thường phản hồi trong vòng 5 ngày
Tất cả issue của NVIDIA/Personal-AI-Router
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 62/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Add SolentaCó thể đã có người làm @sharmao07 đã nhận hôm nay. Đang mở
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 85/100
slavakurilyak/awesome-ai-agents#760 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
enhancement
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
-
agent-review-finding bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
jordansmall/spindrift#5281 ·
Maintainer thường phản hồi trong vòng 1 ngày