Incorrect EndToEnd total_time in SimAI_analytical results

Abierto
  • ¿Algo no está bien?
#202 1 comentario 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
4/5
Tiempo estimado
3-5 días
Aptitud para principiantes
30/100
Tipo de issue
Error
Claridad
Bastante claro
Estado de actividad
Estancado
Stack tecnológico
python
Área
performance

Línea de trabajo

Reproduce la generación de la carga de trabajo y la simulación analítica usando los comandos del issue y, después, inspecciona el archivo generado ws1472-tp8-pp8EndToEnd.csv. Concéntrate en el valor excepcionalmente grande de Expose DP comm y compáralo con la carga de trabajo proporcionada y los resultados de otros experimentos. Se considera terminado cuando EndToEnd total_time informa de un valor validado de Expose DP comm.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

1. Environment Info
- OS: [ Ubuntu 22.04.4 LTS]
- SimAI Commit: [e5d1251]
- Python Version: [Python 3.11.12]
2.Steps to Reproduce

Step 1: Generate Workload

  • Working Directory: /root/simai/SimAI/aicb/
  • Command Executed: 
    uv run -m workload_generator.SimAI_training_workload_generator \
  --frame=Megatron \
  --world_size=1472 \
  --tensor_model_parallel_size=8 \
  --pipeline_model_parallel=8 \
  --global_batch=32 \
  --micro_batch=1 \
  --epoch_num=1 \
  --model_name=gpt_13B \
  --hidden_size=5120 \
  --num_layers=40 \
  --seq_length=4096 \
  --num_attention_heads=40 \
  --vocab_size=50257 \
  --max_position_embeddings=4096 \
  --ffn_hidden_size=11008 \
  --dtype=bfloat16 \
  --enable_sequence_parallel \
  --swiglu \
  --make_vocab_size_divisible_by=128 \
  --workload_only \
  --output_filename=two_phase_opt_phase1/ws1472-tp8-pp8 \
  --aiob_enable \
  --comp_filepath=/root/simai/SimAI/aicb/workload/aiob_inputs/A100_A800.txt
  • Generated Workload: ws1472-tp8-pp8.txt

Step 2: Run Analytical Simulation

  • Working Directory: /root/simai/SimAI/
  • Command Executed: 
    /root/simai/SimAI/bin/SimAI_analytical \
  -w /root/simai/SimAI/aicb/results/workload/two_phase_opt_phase1/ws1472-tp8-pp8.txt \
  -g 1472 \
  -g_p_s 16 \
  -n_p_s 5 \
  -r two_phase_opt_phase1/ws1472-tp8-pp8 \
  -g_type A800 \
  -nic 37.47811737589823 \
  -dp_o 0.5 \
  -tp_o 0.7 \
  -ep_o 0.8 \
  -pp_o 0.5
  • Result File: ws1472-tp8-pp8EndToEnd.csv
3. The Issue

In the generated EndToEnd.csv file, the Expose DP comm time is exceptionally large,This occurs consistently in many experiments

Lenguaje dominante
Python
Estrellas
1.2k
Forks
194
Sin PR fusionados en 30 d

Preparar el entorno

  • Incluye un Dockerfile o un archivo de Docker Compose
  • Sin plantilla de pull request
  • Sin guía de contribución

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de aliyun/SimAI

Todos los issues de aliyun/SimAI

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.