[Bug Report] Severe VRAM Allocation Instability in PyTorch after llama-cpp-python is Imported
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 30/100
- issue の種類
- バグ
- 明瞭さ
- おおむね明確
- 活発さ
- 停滞
調査の方向性
この issue は、llama-cpp-python と PyTorch の間にある CUDA コンテキストの低レベルな競合について説明しています。まず、llama-cpp-python の bindings にある CUDA 初期化コードを、特に import 時の処理を中心に調べます。CUDA コンテキストの作成やメモリアロケータの設定がないか確認します。llama-cpp-python を import してから大規模な PyTorch モデルをロードする最小環境で問題を再現し、VRAM の割り当てパターンを監視します。「Done」は、競合の原因となっている具体的な呼び出しまたは設定を特定し、修正案を提示することです。
索引モデルが issue の本文から書いたものです。
説明
Prerequisites
- I am running the latest code.
- I carefully followed the README.md.
- I searched using keywords relevant to my issue to make sure that I am creating a new issue that is not already open (or closed).
- I reviewed the Discussions, and have a new bug to share.
Expected Behavior
When loading a large PyTorch-based model (e.g., an SDXL checkpoint >10GB) within a host application (ComfyUI), I expect the GPU's dedicated memory (VRAM) usage to increase smoothly and stabilize at the required level for the model. This process should be fast and efficient.
Current Behavior
The VRAM allocation is extremely erratic and inefficient. The memory usage graph shows a severe sawtooth/spiky pattern—it spikes up, drops slightly, spikes again, and repeats this cycle until the model is finally loaded. This process is significantly slower than normal and suggests a fundamental conflict in memory management at the CUDA level.
This behavior only occurs when a component that imports llama-cpp-python is loaded by the host application at startup. The issue manifests before any llama-cpp-python functions are actively called; the mere act of importing the library is enough to trigger this conflict with subsequent PyTorch operations.
Environment and Context
-
Hardware:
- GPU: NVIDIA RTX PRO 6000 Blackwell Workstation Edition (94.5 GB VRAM)
-
Operating System:
- Windows 11
-
SDK and Software Versions:
- Python Version:
3.12.11 - Compiler: MSVC / Visual Studio
2022used to compile for CUDA - CUDA Toolkit: 12.8 (locally compiled)
- NVIDIA Driver Version:
580.97 - Host Application: ComfyUI (Release
2025-08-27or newer)
- Python Version:
-
Key Python Packages:
- llama-cpp-python:
0.3.16 - torch:
2.8.0+cu128 - diskcache: 5.6.3
- llama-cpp-python:
Failure Information (for bugs)
This report details a deep-seated conflict between llama-cpp-python and torch regarding CUDA context and/or VRAM management.
Investigation Summary & Key Findings
We conducted an extensive, multi-day investigation to isolate this issue, and the results were conclusive:
-
The problem is triggered by the
importofllama-cpp-python. Any host application that loads this library at startup will cause subsequent, unrelatedtorchVRAM allocations to become unstable. Disabling the components that importllama-cpp-pythoncompletely resolves the issue. -
The
diskcachedependency is a Red Herring. We initially suspected thediskcachelibrary was the cause. To test this, we performed a definitive experiment: we hid the realdiskcachelibrary and replaced it with a completely inert, non-functional fake Python package that only contained an emptyCacheclass.- Result: The VRAM instability problem persisted even with the fake library.
- Log Confirmation: The application log confirmed our fake library was being used:
--- 警告:正在使用一個偽造的 (FAKE) diskcache 函式庫 --- Set up system temp directory: C:\Users\Win\AppData\Local\Temp\latentsync_16880d62 - Conclusion: This proves that
diskcache's code is not the active cause. The problem isllama-cpp-pythonitself. The initial correlation was due todiskcachebeing a mandatory dependency; uninstalling it simply preventedllama-cpp-pythonfrom being imported successfully.
Final Hypothesis
The evidence overwhelmingly suggests a low-level conflict between how llama-cpp-python (especially a version compiled against a modern CUDA 12.8 toolkit) initializes its CUDA context and how PyTorch expects to manage the VRAM. The initialization of llama-cpp-python appears to "pollute" or "fragment" the VRAM state, making subsequent large-scale allocations by PyTorch highly inefficient.
Steps to Reproduce
- Set up a ComfyUI environment with PyTorch and the system components listed above.
- Compile and install
llama-cpp-pythonwith CUDA 12.8 support. - Install any ComfyUI custom node that imports
llama-cpp-pythonat startup (e.g.,ComfyUI-JoyCaptionorComfyUI-Searge-LLM-Node). - Launch ComfyUI. The server will start, and
llama-cpp-pythonwill be imported into the process. - Load a standard workflow designed to load a large PyTorch-based checkpoint model (e.g., an SDXL checkpoint, >10GB).
- Observe the "Dedicated GPU Memory" graph in Windows Task Manager. You will see the erratic, spiky allocation pattern instead of a smooth ramp-up.
Note on llama.cpp comparison: This issue is not about the performance or functionality of llama-cpp-python's inference, but rather a resource conflict it creates with another major library (torch). Therefore, comparing behavior against llama.cpp's ./main executable is not applicable, as the issue requires both runtimes to be active in the same Python process.
- 主要言語
- Python
- スター
- 10.7k
- フォーク
- 1.5k
- 平均マージ
- 1時間 40分
- マージ済み PR(30日)
- 5
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートなし
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
abetlen/llama-cpp-python のほかの issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
abetlen/llama-cpp-python#2424 ·
メンテナーはふだん 1 日以内に返信
-
Seven llama_sampler_init_* bindings admit keyword arguments that the ctypes function object silently drops対応中かも @Belal0066 が 59 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
abetlen/llama-cpp-python#2371 ·
メンテナーはふだん 1 日以内に返信
-
uv add llama-cpp-python wheels fails for versions above 0.3.30対応中かも このイシューにリンクされたプルリクエストがオープン中、またはマージ済みです。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
abetlen/llama-cpp-python#2352 · コメント 1 件 · リアクション 3 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
abetlen/llama-cpp-python#2314 ·
メンテナーはふだん 1 日以内に返信
-
Llama.embed() calls LlamaBatch.add_sequence with old 3-arg signature; missing logits_array再び着手できるかも @lxcxjxhx が 136 日前に担当しましたが、オープン中のプルリクエストはありません。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
abetlen/llama-cpp-python#2211 · コメント 2 件 ·
メンテナーはふだん 1 日以内に返信
abetlen/llama-cpp-python の issue をすべて見る
似ている issue
-
Bug IronPython Python 3
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
pyrevitlabs/pyRevit#4184 ·
メンテナーはふだん 1 日以内に返信
-
難易度 1/5 1時間未満 初心者へのやさしさ 74/100
jqueryscript/awesome-claude-code#1009 ·
-
tests
難易度 2/5 1〜3時間 初心者へのやさしさ 66/100
メンテナーはふだん 3 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
メンテナーはふだん 1 日以内に返信
-
[Plugin] 群聊记忆 · 人格养成オープン
難易度 1/5 1〜3時間 初心者へのやさしさ 74/100