running through CUDA OutOfMemory error
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 8/100
- issue の種類
- バグ
- 明瞭さ
- 説明が足りない
- 活発さ
- 停滞
- 技術スタック
- pytorch
調査の方向性
The report is a CUDA out-of-memory traceback from a PyTorch training run, with no code, script or failing test named. There is no clear entry point in this repository to start from. The issue has gone 884 days with no comments and no reproduction, so a newcomer would first have to ask for the failing script and model configuration before any change could be made.
索引モデルが issue の本文から書いたものです。
説明
I'm always getting cuda OutOfMemory error :
torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 7.50 GiB. GPU 0 has a total capacity of 21.99 GiB of which 6.62 GiB is free. Including non-PyTorch memory, this process has 15.35 GiB memory in use. Of the allocated memory 6.15 GiB is allocated by PyTorch, and 8.71 GiB is reserved by PyTorch but unallocated. If reserved but unallocated memory is large try setting PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True to avoid fragmentation. See documentation for Memory Management (
https://pytorch.org/docs/stable/notes/cuda.html#environment-variables)
I already reduced batch size and I placed torch.cuda.empty_cache() everywhere in my script, but still not enough...
### I'm using :
pip list | grep cuda
nvidia-cuda-cupti-cu11 11.8.87
nvidia-cuda-nvrtc-cu11 11.8.89
nvidia-cuda-runtime-cu11 11.8.89
nvcc --version
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2024 NVIDIA Corporation
Built on Thu_Mar_28_02:18:24_PDT_2024
Cuda compilation tools, release 12.4, V12.4.131
Build cuda_12.4.r12.4/compiler.34097967_0
pip list | grep torch
pytorch-lightning 2.1.2
pytorch-triton 3.0.0+989adb9a29
torch 2.2.1+cu118
torchaudio 2.2.1+cu118
torchmetrics 1.3.2
torchvision 0.17.1+cu118
- 主要言語
- Jupyter Notebook
- スター
- 5.3k
- フォーク
- 1.7k
- PR マージ指標
- 30日以内にマージされた PR はありません
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
tensorflow/tpu のほかの issue
-
難易度 2/5 半日 初心者へのやさしさ 62/100
tensorflow/tpu#3542 ·
-
imagenet_to_gcs.pyオープン
難易度 1/5 1時間未満 初心者へのやさしさ 78/100
tensorflow/tpu#951 · リアクション 2 件 ·
-
Broken linkオープン
難易度 1/5 1時間未満 初心者へのやさしさ 70/100
tensorflow/tpu#908 ·
-
難易度 1/5 1時間未満 初心者へのやさしさ 62/100
tensorflow/tpu#889 · コメント 1 件 · リアクション 1 件 ·
-
難易度 1/5 1時間未満 初心者へのやさしさ 78/100
tensorflow/tpu#582 · コメント 1 件 ·
似ている issue
-
needs-triage
難易度 1/5 1時間未満 初心者へのやさしさ 88/100
flashinfer-ai/flashinfer#9803 ·
メンテナーはふだん 1 日以内に返信
-
bug module: rl
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
NVIDIA/Megatron-LM#9644 ·
メンテナーはふだん 2 日以内に返信
-
`build_flavor_config_from_local_checkpoint` fails with transformers 5.23.0: pipeline `impl` is now a dotted-path string対応中かも @mlflow-app が今日担当しました。 オープンhas-closing-pr nightly triage: reproduced
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
mlflow/mlflow#28000 · コメント 2 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
X-PLUG/MobileAgent#304 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
FluxML/Optimisers.jl#254 ·