triton-inference-server/server

How to free multiple gpu memory

Aberta

#7.825 aberto em 22 de nov. de 2024

Ver no GitHubGuia do colaborador
 (1 comentário) (0 reação) (0 responsável)Python (1.304 forks)batch import
help wantedonnxquestion

Métricas do repositório

Stars
 (6.593 estrelas)
Métricas de merge de PR
 (Mesclagem média 2d 16h) (34 fundiu PRs em 30d)

Description

The question is how do you free memory

https://github.com/triton-inference-server/onnxruntime_backend/issues/103

When the model is deployed to a single card, I can specify real-time release of gpu memory, but if the model is deployed to multiple cards, I don't know what the format looks like

parameters { key: "memory.enable_memory_arena_shrinkage" value: { string_value: "gpu:3" }  }

instance_group [
    {
        count: 1
        kind: KIND_GPU
        gpus: [ 3 ]
    }
]

Guia do colaborador

Direção de pesquisa
O problema pergunta como configurar a liberação de memória para múltiplas GPUs. Pesquise os parâmetros instance group e memory.enable memory arena shrinkage na documentação e no código fonte do Triton. A issue vinculada #103 pode fornecer contexto adicional. Considere atualizar a documentação para esclarecer a sintaxe para múltiplas GPUs.
Pilha de tecnologia
python
Domain
backendinfrastructure
Tipo Issue
Pesquisa
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Recente
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
GPUCUDATriton Inference Server
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
40