大佬求帮助，我在训练语义分割的时候，自定义了模型的数据输入，然后训练时偶发性报错'mgb::CudaError'
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 25/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- python
- Lĩnh vực
- machine-learning
Hướng nghiên cứu
Bắt đầu với trình tạo dataset tùy chỉnh và lần chạy huấn luyện phân đoạn ngữ nghĩa được mô tả trong issue; tái hiện lỗi không liên tục đồng thời ghi lại traceback CudaError được hiển thị. Kiểm tra định dạng dữ liệu của trình tạo và điểm vào huấn luyện để tạo một reproducer tối thiểu, sau đó ghi lại nguyên nhân đã được xác nhận và các điều kiện phân biệt một lần chạy đã được sửa.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
背景
本人在测试训练语义分割模型时，因为数据格式不同，采用自己编写的数据集生成器进行训练。
任务描述
训练时偶发性报错。
terminate called after throwing an instance of 'mgb::CudaError'
what(): failed to query event: 700: an illegal memory access was encountered
backtrace:
/opt/conda/lib/python3.6/site-packages/megengine/core/lib/libmegengine_shared.so(_ZN3mgb9CudaErrorC1ERKSs+0x54) [0x7f30e95ae164]
/opt/conda/lib/python3.6/site-packages/megengine/core/lib/libmegengine_shared.so(_ZN3mgb12CudaCompNode9EventImpl11do_finishedEv+0xbc) [0x7f30e956358c]
/opt/conda/lib/python3.6/site-packages/megengine/core/lib/libmegengine_shared.so(_ZN3mgb18CompNodeImplHelper15EventImplHelper8finishedEv+0x57) [0x7f30e957bf47]
/opt/conda/lib/python3.6/site-packages/megengine/core/_imperative_rt.cpython-36m-x86_64-linux-gnu.so(+0x3d7c3d) [0x7f31433bac3d]
/opt/conda/lib/python3.6/site-packages/megengine/core/_imperative_rt.cpython-36m-x86_64-linux-gnu.so(+0x4fcdff) [0x7f31434dfdff]
/usr/lib/x86_64-linux-gnu/libc.so.6(+0x94b43) [0x7f3143bb6b43]
/usr/lib/x86_64-linux-gnu/libc.so.6(clone+0x44) [0x7f3143c47bb4]
(last_err=700(an illegal memory access was encountered) device=0 mem_free=0.000MiB mem_tot=0.000MiB)
Aborted (core dumped)
我猜测是显存泄露了，但是不是很清楚在哪泄露了
训练时我一直监测gpu，显存一直没有使用满，只有一半。
- Ngôn ngữ chính
- Python
- Star
- 306
- Fork
- 96
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của MegEngine/Models
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
-
训练segmentation的时候出现nan Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 20/100
-
resnet分类模型无法指定分类数量 Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
-
COCO数据集测试速度异常 Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 38/100
-
量化模型的时候出现不预期的问题 Đang mở
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 30/100
Tất cả issue của MegEngine/Models
Issue tương tự
-
[Bug] reef-hermes tells me to resume with hermes --resume, which does not work from my shell Đang mởarea: harness bug status: needs-triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
Human-Agent-Society/reef#625 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 80/100
learningequality/kolibri#15351 · 2 bình luận ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
-
Name consistency Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
eellak/triplestore#65 · 1 bình luận ·