facebookresearch/HolisticTraceAnalysis

How to plot timeline with the label added by torch.profiler.record_function?

Aperta

#99 aperta il 24 gen 2024

Vedi su GitHubGuida contributor
 (2 commenti) (0 reazioni) (0 assegnatari)Python (94 fork)auto 404
help wantedneeds triagequestion

Metriche repository

Star
 (535 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

What is your question?

I want to plot the timeline of training GPT with pipeline parallelism. I use torch.profiler.record_function to label some functions , such as forward_step and backward_step of each micro_batch. I want to plot these functions for all ranks into one image, how can I do it? If using the example code (https://github.com/facebookresearch/HolisticTraceAnalysis/blob/main/examples/plot_timeline.ipynb), I get an image with kernels rather than record_function.

Guida contributor

Direzione di ricerca
Esplora l'API di HolisticTraceAnalysis per filtrare gli eventi per nome, in particolare le etichette record function, e modifica l'esempio di tracciamento della timeline per includere tali eventi.
Tech stack
pythonpytorch
Dominio
performancemachine learning
Tipo issue
Ricerca
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonPyTorch
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65