[Feature]: Multiple ollama instances on single host support
Les mainteneurs répondent en général sous 5 jours
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Accessibilité débutants
- 52/100
Piste de recherche
Commencez par les points d’entrée du routing et du scheduling qui découvrent et exposent les instances Ollama. Suivez la manière dont l’endpoint Ollama et la configuration d’un nœud sont représentés, puis déterminez si deux instances doivent être exposées comme des nœuds distincts ou comme des endpoints sur un seul nœud. Validez cela en lançant deux instances Ollama sur des ports différents avec des paramètres GPU distincts et en confirmant qu’elles apparaissent toutes les deux dans le cluster.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
Area
Routing and scheduling
User problem
I have a system with two GPUs from different vendors, one being a nvidia GPU. I've had to setup two ollama instances locally on different ports to get this to work with different settings. I'd like to be able to expose both ollama instances to the cluster
Desired outcome
Both ollama instances show up for a node (or it appears as two nodes)
Alternatives considered
No response
Compatibility and security implications
No response
Validation approach
Launch two ollama instances on different ports, ideally with specific GPUs enabled for each
Confirmations
- I searched existing issues for duplicates.
- I agree to follow the Code of Conduct.
- Langage dominant
- Go
- Étoiles
- 1.6k
- Forks
- 266
- Merge moyen
- 3 j 6 h
- PR mergées (30 j)
- 22
Préparer son environnement
- Aucun Dockerfile ni fichier Docker Compose
- Propose un modèle de pull request
- Lire le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de NVIDIA/Personal-AI-Router
-
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 20/100
NVIDIA/Personal-AI-Router#165 ·
Les mainteneurs répondent en général sous 5 jours
-
bug
Difficulté 4/5 3-5 jours Accessibilité débutants 46/100
NVIDIA/Personal-AI-Router#164 ·
Les mainteneurs répondent en général sous 5 jours
-
enhancement
Difficulté 4/5 Plus d'une semaine Accessibilité débutants 12/100
NVIDIA/Personal-AI-Router#162 ·
Les mainteneurs répondent en général sous 5 jours
-
enhancement
Difficulté 4/5 3-5 jours Accessibilité débutants 25/100
NVIDIA/Personal-AI-Router#154 · 1 commentaire ·
Les mainteneurs répondent en général sous 5 jours
-
[Feature]: [Ollama] Alert the user about model pull failuresPeut-être pris @ckelseynv l’a pris il y a 3 jours. Ouverteenhancement
Difficulté 3/5 1-2 jours Accessibilité débutants 56/100
NVIDIA/Personal-AI-Router#152 · 1 commentaire · 1 personne assignée ·
Les mainteneurs répondent en général sous 5 jours
Toutes les issues de NVIDIA/Personal-AI-Router
Issues similaires
-
darwin zsh
Difficulté 1/5 Moins d'une heure Accessibilité débutants 90/100
carapace-sh/carapace-bin#3846 ·
Les mainteneurs répondent en général sous 1 jour
-
appplication - is a typo?Ouverte
Difficulté 1/5 Moins d'une heure Accessibilité débutants 70/100
golang-app/ecommerce#179 ·
Les mainteneurs répondent en général sous 1 jour
-
Simulator process crashes (nil pointer panic) when the dataset returns an errorPeut-être pris @EugeneVon l’a pris aujourd’hui. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
llm-d/llm-d-inference-sim#772 ·
Les mainteneurs répondent en général sous 1 jour
-
refactor: decode numchildren with a lenient int type instead of a hand-written xProp.UnmarshalXMLOuverte
Difficulté 2/5 1-3 heures Accessibilité débutants 84/100
crazy-goat/xdbg#125 ·
Les mainteneurs répondent en général sous 1 jour
-
150 points ci complexity:medium drips-wave help wanted medium
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
sorotrail/SoroBeacon#449 ·
Les mainteneurs répondent en général sous 1 jour