大佬求帮助，我在训练语义分割的时候，自定义了模型的数据输入，然后训练时偶发性报错'mgb::CudaError'
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 25/100
- issue の種類
- バグ
- 明瞭さ
- 説明が足りない
- 活発さ
- 停滞
- 技術スタック
- python
調査の方向性
issue に記載されているカスタムデータセットジェネレーターとセマンティックセグメンテーションのトレーニング実行から始め、表示された CudaError traceback を記録しながら断続的な失敗を再現してください。最小限の再現例を作るために、ジェネレーターのデータ形式とトレーニングのエントリーポイントを確認し、その後、確認済みの原因と、修正済みの実行を見分ける条件を文書化してください。
索引モデルが issue の本文から書いたものです。
説明
背景
本人在测试训练语义分割模型时，因为数据格式不同，采用自己编写的数据集生成器进行训练。
任务描述
训练时偶发性报错。
terminate called after throwing an instance of 'mgb::CudaError'
what(): failed to query event: 700: an illegal memory access was encountered
backtrace:
/opt/conda/lib/python3.6/site-packages/megengine/core/lib/libmegengine_shared.so(_ZN3mgb9CudaErrorC1ERKSs+0x54) [0x7f30e95ae164]
/opt/conda/lib/python3.6/site-packages/megengine/core/lib/libmegengine_shared.so(_ZN3mgb12CudaCompNode9EventImpl11do_finishedEv+0xbc) [0x7f30e956358c]
/opt/conda/lib/python3.6/site-packages/megengine/core/lib/libmegengine_shared.so(_ZN3mgb18CompNodeImplHelper15EventImplHelper8finishedEv+0x57) [0x7f30e957bf47]
/opt/conda/lib/python3.6/site-packages/megengine/core/_imperative_rt.cpython-36m-x86_64-linux-gnu.so(+0x3d7c3d) [0x7f31433bac3d]
/opt/conda/lib/python3.6/site-packages/megengine/core/_imperative_rt.cpython-36m-x86_64-linux-gnu.so(+0x4fcdff) [0x7f31434dfdff]
/usr/lib/x86_64-linux-gnu/libc.so.6(+0x94b43) [0x7f3143bb6b43]
/usr/lib/x86_64-linux-gnu/libc.so.6(clone+0x44) [0x7f3143c47bb4]
(last_err=700(an illegal memory access was encountered) device=0 mem_free=0.000MiB mem_tot=0.000MiB)
Aborted (core dumped)
我猜测是显存泄露了，但是不是很清楚在哪泄露了
训练时我一直监测gpu，显存一直没有使用满，只有一半。
- 主要言語
- Python
- スター
- 306
- フォーク
- 96
- PR マージ指標
- 30日以内にマージされた PR はありません
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
MegEngine/Models のほかの issue
-
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
-
難易度 4/5 3〜5日 初心者へのやさしさ 20/100
-
resnet分类模型无法指定分类数量 オープン
難易度 4/5 3〜5日 初心者へのやさしさ 25/100
-
COCO数据集测试速度异常 オープン
難易度 4/5 3〜5日 初心者へのやさしさ 38/100
-
量化模型的时候出现不预期的问题 オープン
難易度 3/5 1〜2日 初心者へのやさしさ 30/100
MegEngine/Models の issue をすべて見る
似ている issue
-
agent-ready documentation needs-triage
難易度 1/5 1〜3時間 初心者へのやさしさ 88/100
-
documentation
難易度 1/5 1時間未満 初心者へのやさしさ 91/100
-
workflow-status page template still says reusable workflows are "triggered only by workflow_call:" オープン
難易度 1/5 1時間未満 初心者へのやさしさ 92/100
-
instance instance add
難易度 1/5 1時間未満 初心者へのやさしさ 72/100
searxng/searx-instances#939 · コメント 1 件 ·
-
area-deployment area-integrations triage:bot-seen
難易度 2/5 半日 初心者へのやさしさ 86/100