RuntimeError: reduce failed to synchronize: cudaErrorAssert: device-side assert triggered

Đang mở
  • Có gì không ổn?
#379 1 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
25/100
Loại issue
Lỗi
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Đình trệ
Công nghệ
python, pytorch
Lĩnh vực
computer-vision, machine-learning

Hướng nghiên cứu

Bắt đầu bằng cách tái hiện lệnh từ issue và kiểm tra train_epoch.py ở dòng 256, nơi criterion được gọi. Sau đó, lần theo encoding/nn/loss.py ở dòng 85 và các target của custom dataset để xác định điều gì gây ra lỗi BCE. Công việc được xem là hoàn tất khi đã xác nhận được nguyên nhân và có cách khắc phục có thể tái hiện, nhưng issue không chỉ rõ thay đổi mã nào được mong đợi.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Hi zhanghang1989
i have a custom dataset which has 1000 images.
when i try to train with 1000 images i'm getting this error.
my training parameters are:
python train_epoch.py --dataset ade20k --aux --se-loss --model encnet --backbone resnest101 --epochs 180
can you help me to resolve this error.
errror:
Traceback (most recent call last):
File "train_epoch.py", line 340, in
main()
File "train_epoch.py", line 144, in main
mp.spawn(main_worker, nprocs=ngpus_per_node, args=(ngpus_per_node, args))
File "/home/hbbg/miniconda3/envs/seg-pe/lib/python3.7/site-packages/torch/multiprocessing/spawn.py", line 171, in spawn
while not spawn_context.join():
File "/home/hbbg/miniconda3/envs/seg-pe/lib/python3.7/site-packages/torch/multiprocessing/spawn.py", line 118, in join
raise Exception(msg)
Exception:
-- Process 0 terminated with the following error:
Traceback (most recent call last):
File "/home/hbbg/miniconda3/envs/seg-pe/lib/python3.7/site-packages/torch/multiprocessing/spawn.py", line 19, in _wrap
fn(i, *args)
File "/home/hbbg/HBXL/PyTorch-Encoding/experiments/segmentation/train_epoch.py", line 329, in main_worker
training(epoch)
File "/home/hbbg/HBXL/PyTorch-Encoding/experiments/segmentation/train_epoch.py", line 256, in training
loss = criterion(*outputs, target)
File "/home/hbbg/miniconda3/envs/seg-pe/lib/python3.7/site-packages/torch/nn/modules/module.py", line 532, in call
result = self.forward(*input, **kwargs)
File "/home/hbbg/miniconda3/envs/seg-pe/lib/python3.7/site-packages/encoding/nn/loss.py", line 85, in forward
loss3 = self.bceloss(torch.sigmoid(se_pred), se_target)
File "/home/hbbg/miniconda3/envs/seg-pe/lib/python3.7/site-packages/torch/nn/modules/module.py", line 532, in call
result = self.forward(*input, **kwargs)
File "/home/hbbg/miniconda3/envs/seg-pe/lib/python3.7/site-packages/torch/nn/modules/loss.py", line 498, in forward
return F.binary_cross_entropy(input, target, weight=self.weight, reduction=self.reduction)
File "/home/hbbg/miniconda3/envs/seg-pe/lib/python3.7/site-packages/torch/nn/functional.py", line 2077, in binary_cross_entropy
input, target, weight, reduction_enum)
RuntimeError: reduce failed to synchronize: cudaErrorAssert: device-side assert triggered

Ngôn ngữ chính
Python
Star
2k
Fork
448
Không có pull request nào được merge trong 30 ngày

Chuẩn bị môi trường

  • Có Dockerfile hoặc tệp Docker Compose
  • Không có mẫu pull request
  • Không có hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của zhanghang1989/PyTorch-Encoding

Tất cả issue của zhanghang1989/PyTorch-Encoding

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.