AI-Hypercomputer/maxtext

Support nsys profiler upload in all cases

Open

#911 aperta il 24 set 2024

Vedi su GitHub
 (1 commento) (0 reazioni) (1 assegnatario)Python (527 fork)github user discovery
buggood first issue

Metriche repository

Star
 (2311 star)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

For both jax.profiler (profiler=xplane in maxtext) and a GPU nsys profiler (profiler=nsys in maxtext) we upload the profile to the base_output_directory (source)

Typically this directory is GCS, it can also be local. However for the nsys profiler we hardcode the uploader to use gsutil source, which has two problems

  1. Output directory may not be GCS, so gsutil is not applicable
  2. Hosts may not have gsutil installed, since gsutil is not in requirements.txt

We should modify the nsys profile upload to work in all cases.

Additional context - https://github.com/AI-Hypercomputer/maxtext/pull/909 was added as a temporary fix for 2 - we won't upload the profile when gsutil is missing, so training may continue

Guida contributor

Direzione di ricerca
Esamina il codice di upload di nsys in profiler.py e la configurazione di base output directory in pyconfig.py. Implementa un upload generalizzato che funzioni sia per percorsi GCS che locali, evitando gsutil hardcoded. Considera l'uso delle operazioni standard sui file di Python o della libreria client di Google Cloud Storage quando applicabile.
Tech stack
python
Dominio
backendmachine learning
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
PythonJAXGPU profiling
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40