triton-inference-server/server

How to free multiple gpu memory

Open

#7 825 ouverte le 22 nov. 2024

Voir sur GitHub
 (1 commentaire) (0 réactions) (0 assignés)Python (1 304 forks)batch import
help wantedonnxquestion

Métriques du dépôt

Stars
 (6 593 stars)
Métriques de merge PR
 (Merge moyen 2j 16h) (34 PRs mergées en 30 j)

Description

The question is how do you free memory

https://github.com/triton-inference-server/onnxruntime_backend/issues/103

When the model is deployed to a single card, I can specify real-time release of gpu memory, but if the model is deployed to multiple cards, I don't know what the format looks like

parameters { key: "memory.enable_memory_arena_shrinkage" value: { string_value: "gpu:3" }  }

instance_group [
    {
        count: 1
        kind: KIND_GPU
        gpus: [ 3 ]
    }
]

Guide contributeur

Direction de recherche
Le problème demande comment configurer la libération de mémoire pour plusieurs GPU. Recherchez les paramètres instance group et memory.enable memory arena shrinkage dans la documentation et le code source de Triton. L'issue liée #103 peut fournir un contexte supplémentaire. Envisagez de mettre à jour la documentation pour clarifier la syntaxe pour plusieurs GPU.
Stack technique
python
Domaine
backendinfrastructure
Type d'issue
Recherche
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Récente
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
GPUCUDATriton Inference Server
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
40