AI-Hypercomputer/maxtext

Support nsys profiler upload in all cases

Open

#911 geöffnet am 24. Sept. 2024

Auf GitHub ansehen
 (1 Kommentar) (0 Reaktionen) (1 zugewiesene Person)Python (527 Forks)github user discovery
buggood first issue

Repository-Metriken

Stars
 (2.311 Stars)
PR-Merge-Metriken
 (PR-Metriken ausstehend)

Beschreibung

For both jax.profiler (profiler=xplane in maxtext) and a GPU nsys profiler (profiler=nsys in maxtext) we upload the profile to the base_output_directory (source)

Typically this directory is GCS, it can also be local. However for the nsys profiler we hardcode the uploader to use gsutil source, which has two problems

  1. Output directory may not be GCS, so gsutil is not applicable
  2. Hosts may not have gsutil installed, since gsutil is not in requirements.txt

We should modify the nsys profile upload to work in all cases.

Additional context - https://github.com/AI-Hypercomputer/maxtext/pull/909 was added as a temporary fix for 2 - we won't upload the profile when gsutil is missing, so training may continue

Contributor Guide

Research-Richtung
Untersuche den nsys Upload Code in profiler.py und die base output directory Konfiguration in pyconfig.py. Implementiere einen generalisierten Upload, der sowohl für GCS als auch für lokale Pfade funktioniert und hartcodiertes gsutil vermeidet. Ziehe die Verwendung von Pythons Standard Dateioperationen oder der Google Cloud Storage Clientbibliothek in Betracht, wenn anwendbar.
Tech Stack
python
Domain
backendmachine learning
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
PythonJAXGPU profiling
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
40