[Feature]: Multiple ollama instances on single host support
Mantenedores costumam responder em até 2 dias
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 4/5
- Tempo estimado
- 3-5 dias
- Facilidade para iniciantes
- 52/100
Direção de pesquisa
Comece pelos pontos de entrada de routing e scheduling que descobrem e expõem instâncias do Ollama. Rastreie como o endpoint do Ollama e a configuração de um nó são representados e, em seguida, determine se duas instâncias devem ser expostas como nós separados ou como endpoints em um único nó. Valide isso iniciando duas instâncias do Ollama em portas diferentes, com configurações de GPU separadas, e confirmando que ambas aparecem no cluster.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
Area
Routing and scheduling
User problem
I have a system with two GPUs from different vendors, one being a nvidia GPU. I've had to setup two ollama instances locally on different ports to get this to work with different settings. I'd like to be able to expose both ollama instances to the cluster
Desired outcome
Both ollama instances show up for a node (or it appears as two nodes)
Alternatives considered
No response
Compatibility and security implications
No response
Validation approach
Launch two ollama instances on different ports, ideally with specific GPUs enabled for each
Confirmations
- I searched existing issues for duplicates.
- I agree to follow the Code of Conduct.
- Linguagem predominante
- Go
- Estrelas
- 1.6k
- Forks
- 277
- Merge médio
- 4d 14h
- PRs com merge (30d)
- 31
Preparar o ambiente
- Sem Dockerfile nem arquivo Docker Compose
- Tem um modelo de pull request
- Ler o guia de contribuição
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de NVIDIA/Personal-AI-Router
-
[Bug]: macOS privileged helper is signed as com.nvidia.nvpair, so its pinned code-signing requirement always fails ("Privileged helper setup incomplete")Talvez já em andamento @Noah-Tervalon-Nvidia assumiu há 3 dias. Aberta
Dificuldade 4/5 1-2 dias Facilidade para iniciantes 18/100
NVIDIA/Personal-AI-Router#175 · 1 comentário · 1 responsável ·
Mantenedores costumam responder em até 2 dias
-
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 20/100
NVIDIA/Personal-AI-Router#165 ·
Mantenedores costumam responder em até 2 dias
-
bug
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 46/100
NVIDIA/Personal-AI-Router#164 ·
Mantenedores costumam responder em até 2 dias
-
enhancement
Dificuldade 4/5 Mais de uma semana Facilidade para iniciantes 12/100
NVIDIA/Personal-AI-Router#162 ·
Mantenedores costumam responder em até 2 dias
-
enhancement
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 25/100
NVIDIA/Personal-AI-Router#154 · 1 comentário ·
Mantenedores costumam responder em até 2 dias
Todas as issues de NVIDIA/Personal-AI-Router
Issues semelhantes
-
Dificuldade 2/5 Menos de uma hora Facilidade para iniciantes 82/100
Mantenedores costumam responder em até 1 dia
-
[Low] CSI plugin builds staging directories from storage_volume_id without a containment checkAbertaarea/security kind/bug
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 76/100
agent-substrate/substrate#2935 ·
Mantenedores costumam responder em até 1 dia
-
100 points complexity: trivial documentation drips-wave good first issue help wanted
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 86/100
Mantenedores costumam responder em até 1 dia
-
automation models
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 70/100
Mantenedores costumam responder em até 1 dia
-
Guardian health server binds :8080 and collides with the Voltron proxyTalvez já em andamento @denislemire assumiu hoje. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 74/100
projectcalico/calico#14341 ·
Mantenedores costumam responder em até 1 dia