AI-Hypercomputer/maxtext

Support nsys profiler upload in all cases

Open

#911 aberto em 24 de set. de 2024

Ver no GitHub
 (1 comment) (0 reactions) (1 assignee)Python (527 forks)github user discovery
buggood first issue

Métricas do repositório

Stars
 (2.311 stars)
Métricas de merge de PR
 (Métricas PR pendentes)

Description

For both jax.profiler (profiler=xplane in maxtext) and a GPU nsys profiler (profiler=nsys in maxtext) we upload the profile to the base_output_directory (source)

Typically this directory is GCS, it can also be local. However for the nsys profiler we hardcode the uploader to use gsutil source, which has two problems

  1. Output directory may not be GCS, so gsutil is not applicable
  2. Hosts may not have gsutil installed, since gsutil is not in requirements.txt

We should modify the nsys profile upload to work in all cases.

Additional context - https://github.com/AI-Hypercomputer/maxtext/pull/909 was added as a temporary fix for 2 - we won't upload the profile when gsutil is missing, so training may continue

Guia do colaborador

Direção de pesquisa
Examine o código de upload do nsys em profiler.py e a configuração base output directory em pyconfig.py. Implemente um upload generalizado que funcione tanto para caminhos GCS quanto locais, evitando gsutil codificado. Considere usar operações de arquivo padrão do Python ou a biblioteca cliente do Google Cloud Storage quando aplicável.
Pilha de tecnologia
python
Domain
backendmachine learning
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
PythonJAXGPU profiling
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
40