AI-Hypercomputer/maxtext

Support nsys profiler upload in all cases

Open

#911 ouverte le 24 sept. 2024

Voir sur GitHub
 (1 commentaire) (0 réactions) (1 assigné)Python (527 forks)github user discovery
buggood first issue

Métriques du dépôt

Stars
 (2 311 stars)
Métriques de merge PR
 (Métriques PR en attente)

Description

For both jax.profiler (profiler=xplane in maxtext) and a GPU nsys profiler (profiler=nsys in maxtext) we upload the profile to the base_output_directory (source)

Typically this directory is GCS, it can also be local. However for the nsys profiler we hardcode the uploader to use gsutil source, which has two problems

  1. Output directory may not be GCS, so gsutil is not applicable
  2. Hosts may not have gsutil installed, since gsutil is not in requirements.txt

We should modify the nsys profile upload to work in all cases.

Additional context - https://github.com/AI-Hypercomputer/maxtext/pull/909 was added as a temporary fix for 2 - we won't upload the profile when gsutil is missing, so training may continue

Guide contributeur

Direction de recherche
Examinez le code de téléchargement nsys dans profiler.py et la configuration base output directory dans pyconfig.py. Mettez en œuvre un téléchargement généralisé qui fonctionne à la fois pour les chemins GCS et locaux, en évitant gsutil codé en dur. Envisagez d'utiliser les opérations standard sur les fichiers de Python ou la bibliothèque client Google Cloud Storage lorsque cela est applicable.
Stack technique
python
Domaine
backendmachine learning
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
PythonJAXGPU profiling
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
40