facebookresearch/HolisticTraceAnalysis

How to plot timeline with the label added by torch.profiler.record_function?

Aberta

#99 aberto em 24 de jan. de 2024

Ver no GitHubGuia do colaborador
 (2 comentários) (0 reação) (0 responsável)Python (94 forks)auto 404
help wantedneeds triagequestion

Métricas do repositório

Stars
 (535 estrelas)
Métricas de merge de PR
 (Métricas PR pendentes)

Description

What is your question?

I want to plot the timeline of training GPT with pipeline parallelism. I use torch.profiler.record_function to label some functions , such as forward_step and backward_step of each micro_batch. I want to plot these functions for all ranks into one image, how can I do it? If using the example code (https://github.com/facebookresearch/HolisticTraceAnalysis/blob/main/examples/plot_timeline.ipynb), I get an image with kernels rather than record_function.

Guia do colaborador

Direção de pesquisa
Explore a API do HolisticTraceAnalysis para filtrar eventos por nome, especificamente rótulos record function, e modifique o exemplo de plotagem de linha do tempo para incluir esses eventos.
Pilha de tecnologia
pythonpytorch
Domain
performancemachine learning
Tipo Issue
Pesquisa
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PythonPyTorch
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
65