import torch crashes or hangs with spindle

Đang mở
  • Có gì không ổn?
#60 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
25/100
Loại issue
Lỗi
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Đình trệ
Công nghệ
python, pytorch
Lĩnh vực
distributed-systems, infrastructure

Hướng nghiên cứu

Bắt đầu bằng cách tái hiện lỗi xảy ra không thường xuyên bằng các lệnh spindle và mpiexec được cung cấp trên 128 nút, sau đó kiểm tra torch/init.py và torch/torch_version.py, nơi traceback xảy ra. Xác định liệu spindle có đưa các byte null vào mã nguồn được import hay không và ghi lại liệu hành vi này có phải là một vấn đề đã biết hay không, với kết quả là một cách tái hiện hoặc lời giải thích đáng tin cậy.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

import torch sometimes works and sometimes crashes randomly with the following error on 128 nodes.
Could you tag if its an already known issue?

I used commits till 92bda828efcef13e3b2f83e0c01b8280665c290c on devel branch

pytorch 2.5

 
kaushikvelusamy@node_name:lustre_dir_location/kaushik> mpiexec --spindle=python-prefix=${CONDA_DIR} --np 24 --ppn 12 --genvall --genv=PYTHONPATH=${CONDA_DIR} --cpu-bind=list:4:9:14:19:20:25:56:61:66:71:74:79  ${APP_LOC}

spindle-bin/bin/spindle --location=/tmp/kaushik/spindle-test/spindle-temp-dir mpiexec --genvall --genv TMPDIR=/tmp/kaushik/spindle-test/spindle-temp-dir --genv=PYTHONPATH=lustre_dir_location/kaushik/spindle/spindle_tests_apps/torch-with-spindle/lus_pip_torch_2.3_env_128/ --np 1536 --ppn 12 --cpu-bind=list:4:9:14:19:20:25:56:61:66:71:74:79 spindlemarker lustre_dir_location/kaushik/spindle/spindle_tests_apps/torch-with-spindle/app_3.sh


Traceback (most recent call last):
 File "<string>", line 1, in <module>
Traceback (most recent call last):
 File "<string>", line 1, in <module>
 File "lustre_dir_location/kaushik/spindle/spindle_tests_apps/torch-with-spindle/lus_pip_torch_2.3_env_2/torch/__init__.py", line 36, in <module>
   from .torch_version import __version__ as __version__
 File "lustre_dir_location/kaushik/spindle/spindle_tests_apps/torch-with-spindle/lus_pip_torch_2.3_env_2/torch/torch_version.py", line 5, in <module>
Traceback (most recent call last):
 File "<string>", line 1, in <module>
 File "lustre_dir_location/kaushik/spindle/spindle_tests_apps/torch-with-spindle/lus_pip_torch_2.3_env_2/torch/__init__.py", line 36, in <module>
   from .torch_version import __version__ as __version__
 File "lustre_dir_location/kaushik/spindle/spindle_tests_apps/torch-with-spindle/lus_pip_torch_2.3_env_2/torch/torch_version.py", line 5, in <module>
   from ._vendor.packaging.version import Version, InvalidVersion
ValueError: source code string cannot contain null bytes
node_name.hostmgmt2611.cm.system_name.: rank 6 exited with code 1
node_name.hostmgmt2611.cm.system_name.: rank 1 died from signal 15
kaushikvelusamy@node_name:lustre_dir_location/kaushik>
Ngôn ngữ chính
C
Star
110
Fork
35
Merge trung bình
2 ngày 9 giờ
Pull request đã merge (30 ngày)
2

Chuẩn bị môi trường

Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của llnl/Spindle

Tất cả issue của llnl/Spindle

Issue tương tự

Thêm issue về C

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.