[Architecture Discussion] Overhead and safety of asynchronous soft-stop signaling for KV-cache reclamation during generation loops

オープン
#4,831 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る

メンテナーはふだん 6 日以内に返信

まだ誰も着手していません。

評価

難易度
5/5
見積もり時間
1週間以上
初心者へのやさしさ
25/100
issue の種類
機能追加
明瞭さ
説明が足りない
活発さ
静か
技術スタック
cpp, python

調査の方向性

まず、コアの実行ループ、scheduler、allocator、および議論で言及されている既存の generation-step シグナリング経路を読みます。非同期の soft-stop によって、競合や同期的な CUDA フラッシュなしに KV-cache の再利用を安全に延期できるかを判断します。この issue ではファイルやテストが指定されていないため、具体的な完了確認は定義されていません。

索引モデルが issue の本文から書いたものです。

説明

Feature Request

In enterprise on-premise deployments utilizing open-weight models (e.g., Llama/Qwen variants) for heavy multi-turn agent workflows and structured generation, a significant share of GPU cluster capacity and KV-cache memory is consumed by tail-tokens after models hit an entropy plateau or structural completion.

Because enterprise clusters operate under strict hardware budgets, mitigating this tail-waste via external hooks is critical, but current approaches either force expensive synchronization points or incur unacceptable overhead through custom Python logits processors.

What are the maintainers' thoughts on a scenario where a volatile memory flag or a lightweight telemetry hook is evaluated per generation step, on the premise that such an evaluation introduces minimal overhead (less than 0.2ms), provided that actual KV-cache block recycling is deferred to the scheduler's next cycle rather than triggering an immediate synchronous CUDA context flush?

Question to Maintainers:
From an engine architecture perspective, does this approach hold up within the core execution loop, or does an asynchronous abort/soft-stop signal inevitably lead to race conditions with the active batched execution/allocator state?

主要言語
C++
スター
13.5k
フォーク
2.4k
平均マージ
6日 21時間
マージ済み PR(30日)
3

環境構築

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

NVIDIA/TensorRT のほかの issue

NVIDIA/TensorRT の issue をすべて見る

似ている issue

C++ の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。