ONNXRuntime-GPU Fails in ComfyUI – Possible cuDNN Conflict with CTranslate2
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 30/100
- issue の種類
- バグ
- 明瞭さ
- 説明が足りない
- 活発さ
- 停滞
調査の方向性
プロジェクトファイルやテストは指定されていません。まず ComfyUI の失敗を再現し、ライブラリの読み込みと Python の直接実行を比較します。CTranslate2 による cuDNN の読み込みと ONNXRuntime-GPU の初期化に重点を置いてください。両方のパッケージが LD_PRELOAD を必要とせずに同じ環境で共存できれば完了です。
索引モデルが issue の本文から書いたものです。
説明
Environment
- platform: Linux-6.8.0-53-generic-x86_64-with-glibc2.39
- CUDA: 12.4
- Driver: 550.144.03
- Python 3.12.3
Key Packages
- torch 2.6.0+cu124
- ctranslate2 4.5.0
- onnxruntime-gpu 1.22.0
- nvidia-cublas-cu12 12.4.5.8
- nvidia-cuda-cupti-cu12 12.4.127
- nvidia-cuda-nvrtc-cu12 12.4.127
- nvidia-cuda-runtime-cu12 12.4.127
- nvidia-cudnn-cu12 9.1.0.70
- nvidia-cufft-cu12 11.2.1.3
- nvidia-curand-cu12 10.3.5.147
- nvidia-cusolver-cu12 11.6.1.9
- nvidia-cusparse-cu12 12.3.1.170
- nvidia-cusparselt-cu12 0.6.2
- nvidia-ml-py 12.570.86
- nvidia-nccl-cu12 2.21.5
- nvidia-nvjitlink-cu12 12.4.127
- nvidia-nvtx-cu12 12.4.127
Error (When running ComfyUI with ONNXRuntime-GPU)
[E:onnxruntime:, inference_session.cc:2105 operator()] Exception during initialization: /onnxruntime_src/onnxruntime/core/providers/cuda/cuda_call.cc:123 std::conditional_t<THRW, void, onnxruntime::common::Status> onnxruntime::CudaCall(ERRTYPE, const char*, const char*, ERRTYPE, const char*, const char*, int) [with ERRTYPE = cudnnStatus_t; bool THRW = true; std::conditional_t<THRW, void, common::Status> = void] /onnxruntime_src/onnxruntime/core/providers/cuda/cuda_call.cc:116 std::conditional_t<THRW, void, onnxruntime::common::Status> onnxruntime::CudaCall(ERRTYPE, const char*, const char*, ERRTYPE, const char*, const char*, int) [with ERRTYPE = cudnnStatus_t; bool THRW = true; std::conditional_t<THRW, void, common::Status> = void] CUDNN failure 4: cuDNN could not be found or could not be loaded. ; GPU=0 ; hostname=gpu8 ; file=/onnxruntime_src/onnxruntime/core/providers/cuda/cuda_execution_provider.cc ; line=181 ; expr=cudnnCreate(&cudnn_handle_);
!!! Exception during processing !!! [ONNXRuntimeError] : 6 : RUNTIME_EXCEPTION : Exception during initialization: /onnxruntime_src/onnxruntime/core/providers/cuda/cuda_call.cc:123 std::conditional_t<THRW, void, onnxruntime::common::Status> onnxruntime::CudaCall(ERRTYPE, const char*, const char*, ERRTYPE, const char*, const char*, int) [with ERRTYPE = cudnnStatus_t; bool THRW = true; std::conditional_t<THRW, void, common::Status> = void] /onnxruntime_src/onnxruntime/core/providers/cuda/cuda_call.cc:116 std::conditional_t<THRW, void, onnxruntime::common::Status> onnxruntime::CudaCall(ERRTYPE, const char*, const char*, ERRTYPE, const char*, const char*, int) [with ERRTYPE = cudnnStatus_t; bool THRW = true; std::conditional_t<THRW, void, common::Status> = void] CUDNN failure 4: cuDNN could not be found or could not be loaded. ; GPU=0 ; hostname=gpu8 ; file=/onnxruntime_src/onnxruntime/core/providers/cuda/cuda_execution_provider.cc ; line=181 ; expr=cudnnCreate(&cudnn_handle_);
Suspected Cause
In the same Python environment, this error does not occur when running code directly — it only happens inside ComfyUI.
ComfyUI loads cuDNN from CTranslate2 (libcudnn-74a4c495.so.9.1.0) first, which may conflict with ONNXRuntime-GPU.
When I use:
export LD_PRELOAD=env/lib/python3.12/site-packages/nvidia/cudnn/lib/libcudnn.so.9
The error disappears.
Question
Is there a better way to avoid this cuDNN conflict without using LD_PRELOAD every time?
Any clean solution to make ONNXRuntime-GPU and CTranslate2 coexist in the same Python environment?
- 主要言語
- C++
- スター
- 4.8k
- フォーク
- 557
- 平均マージ
- 1日 6時間
- マージ済み PR(30日)
- 24
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートなし
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
OpenNMT/CTranslate2 のほかの issue
-
MPS: GPT-2 produces NaN logits and invalid token IDs対応中かも @TBO22 が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
OpenNMT/CTranslate2#2154 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
Allow no-timestamp Whisper decoding beyond 224 tokens対応中かも @Emre-Akgul が 128 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
OpenNMT/CTranslate2#2074 ·
メンテナーはふだん 1 日以内に返信
-
T5Gemma fails on MPS: incorrect beam expansion with padded batches対応中かも @TBO22 が今日担当しました。 オープン
難易度 4/5 3〜5日 初心者へのやさしさ 30/100
OpenNMT/CTranslate2#2153 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 5/5 1週間以上 初心者へのやさしさ 8/100
OpenNMT/CTranslate2#2152 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 3/5 1〜2日 初心者へのやさしさ 55/100
OpenNMT/CTranslate2#2149 ·
メンテナーはふだん 1 日以内に返信
OpenNMT/CTranslate2 の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
grizzlypeak3d/DJV#962 ·
-
cognizant-backlog
難易度 2/5 1〜3時間 初心者へのやさしさ 61/100
KhronosGroup/OpenCL-CTS#2882 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
Documentation: Fix parameter markup, legacy branch link, and phrasing in Detachable Joints and Model Command tutorials対応中かも @patelshivani2283-lab が今日担当しました。 オープン
難易度 1/5 1〜3時間 初心者へのやさしさ 88/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 73/100
LunarG/gfxreconstruct#3440 ·
メンテナーはふだん 2 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
メンテナーはふだん 1 日以内に返信