大佬求帮助,我在训练语义分割的时候,自定义了模型的数据输入,然后训练时偶发性报错'mgb::CudaError'
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Error
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- python
- Área
- machine-learning
Línea de trabajo
Comienza con el generador de conjuntos de datos personalizados y la ejecución de entrenamiento de segmentación semántica descritos en el issue; reproduce el fallo intermitente mientras capturas el traceback de CudaError mostrado. Comprueba el formato de datos del generador y el punto de entrada del entrenamiento para crear un reproductor mínimo y, después, documenta una causa confirmada y las condiciones que distinguen una ejecución corregida.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
背景
本人在测试训练语义分割模型时,因为数据格式不同,采用自己编写的数据集生成器进行训练。
任务描述
训练时偶发性报错。
terminate called after throwing an instance of 'mgb::CudaError'
what(): failed to query event: 700: an illegal memory access was encountered
backtrace:
/opt/conda/lib/python3.6/site-packages/megengine/core/lib/libmegengine_shared.so(_ZN3mgb9CudaErrorC1ERKSs+0x54) [0x7f30e95ae164]
/opt/conda/lib/python3.6/site-packages/megengine/core/lib/libmegengine_shared.so(_ZN3mgb12CudaCompNode9EventImpl11do_finishedEv+0xbc) [0x7f30e956358c]
/opt/conda/lib/python3.6/site-packages/megengine/core/lib/libmegengine_shared.so(_ZN3mgb18CompNodeImplHelper15EventImplHelper8finishedEv+0x57) [0x7f30e957bf47]
/opt/conda/lib/python3.6/site-packages/megengine/core/_imperative_rt.cpython-36m-x86_64-linux-gnu.so(+0x3d7c3d) [0x7f31433bac3d]
/opt/conda/lib/python3.6/site-packages/megengine/core/_imperative_rt.cpython-36m-x86_64-linux-gnu.so(+0x4fcdff) [0x7f31434dfdff]
/usr/lib/x86_64-linux-gnu/libc.so.6(+0x94b43) [0x7f3143bb6b43]
/usr/lib/x86_64-linux-gnu/libc.so.6(clone+0x44) [0x7f3143c47bb4]
(last_err=700(an illegal memory access was encountered) device=0 mem_free=0.000MiB mem_tot=0.000MiB)
Aborted (core dumped)
我猜测是显存泄露了,但是不是很清楚在哪泄露了
训练时我一直监测gpu,显存一直没有使用满,只有一半。
- Lenguaje dominante
- Python
- Estrellas
- 306
- Forks
- 96
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de MegEngine/Models
-
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
-
训练segmentation的时候出现nan Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 20/100
-
resnet分类模型无法指定分类数量 Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
-
COCO数据集测试速度异常 Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 38/100
-
量化模型的时候出现不预期的问题 Abierto
Dificultad 3/5 1-2 días Aptitud para principiantes 30/100
Todos los issues de MegEngine/Models
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
anthropics/skills#1811 · 1 comentario ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
speaches-ai/speaches#678 ·
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
datalayer/mcp-compose#42 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
conda-forge/spacy-feedstock#177 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
UKGovernmentBEIS/inspect_evals#2523 ·