Streaming RNNT wedges after sustained zero-PCM silence; Vulkan aborts with GGML_ASSERT(ne3 == ne13)
メンテナーはふだん 2 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 48/100
- issue の種類
- バグ
- 明瞭さ
- おおむね明確
- 活発さ
- 活発
- 技術スタック
- cpp
調査の方向性
/v1/realtime WebSocket ストリーミングパスと CacheAwareEncoder::encode から始め、提供されたサーバーコマンドと zero-PCM タイミングマトリクスを使って、CPU と Vulkan で問題を再現します。持続した完全な zero-PCM 無音の後の音声が deltas と final を生成し、同じパターンが報告された Vulkan assertion に到達しなくなれば完了です。
索引モデルが issue の本文から書いたものです。
説明
Summary
The streaming RNNT server (Nemotron-3.5, cache-aware) wedges mid-stream after a long run of zero-PCM silence: the next real speech produces no deltas and no final until the client tears the stream down. On the Vulkan backend the same session can instead abort overnight with GGML_ASSERT(ne3 == ne13) inside CacheAwareEncoder::encode.
Reproduced in full isolation (a fresh server, a raw WebSocket client, no application code), on both the Vulkan and CPU backends, so this is in the server/streaming path, not a client bug.
Environment
- Binary: nemo-speech
0.1.0(manually deployedlinux x86_64 vulkanbuild; exact source commit unknown) - OS/GPU: Arch Linux, kernel
7.2.3-arch1-3; Intel Integrated GPU (LNL), Mesa Vulkan1.4.354 - Model:
nemotron-3.5(indexednvidia/nemotron-3.5-asr-streaming-0.6b, rev1c8deaecc64b91f034d73e08dd8b64625eb3395d), RNNT head - Serve:
nemo-speech serve --asr-model nemotron-3.5 --device vulkan:0|cpu --no-ui --no-warmup --asr.endpointing.enable=true --host 127.0.0.1 --port 8080
Detailed repro
Client opens GET /v1/realtime (WebSocket), sends one session.update (language=es-ES, sample_rate=16000, endpointing_ms=2500), then streams 16 kHz mono PCM16 in 160 ms frames paced in real time. The stimulus is a fixed 4.9 s Spanish clip followed by trailing silence (to trigger a .completed), then a "gap", then the same clip again.
| gap contents | 15s | 20s | 25s | 60s | result |
|---|---|---|---|---|---|
| wire-silent (no bytes) | — | 2 finals | 2 finals | — | 2nd clip decodes fine |
| 1 ms zero-PCM frames every 160 ms | — | — | — | 2 finals (30/45/60s) | 2nd clip decodes fine |
| 16/40/80 ms zero-PCM frames every 160 ms | 2 finals | 2 finals | 2 finals | — | 2nd clip decodes fine |
| 160 ms zero-PCM frames (full) | 1 final | 1 final | 1 final | 1 final | 2nd clip produces 0 deltas, 0 finals |
Notes:
- Full 160 ms zero-PCM frames are exactly what a downstream noise gate emits while idle, so this is a real-world pattern, not synthetic.
input_audio_buffer.clearduring the gap does not recover the stream — the wedge persists.- With
--asr.endpointing.enableoff, 60 s of full zero-PCM frames still decodes continuously (no EOU, but hundreds of deltas), so the wedge is specific to the token-silence EOU path, not the base cache-aware RNNT decoder.
Crash (Vulkan backend)
Running the same streaming pattern (real speech + long idle silences) on the Vulkan backend, the server eventually aborts:
GGML_ASSERT(ne3 == ne13) failed
/work/ggml/src/ggml-cpu/ggml-cpu.c:1270
Backtrace (excerpt, coredumpctl):
#3 ggml_abort (libggml-base.so.0)
#4 ggml_compute_forward_mul_mat (libggml-cpu.so.0)
#11 ggml_backend_sched_graph_compute_async (libggml-base.so.0)
#13 CacheAwareEncoder::EncoderBatcher::...::operator() (libnemo_speech_asr.so)
#14 CacheAwareEncoder::encode (libnemo_speech_asr.so)
Nine nemo-speech SIGABRT cores exist on this machine, all the ne3 == ne13 assert (mix of the known intermittent warmup abort and this mid-stream form). The mid-stream one occurs specifically while decoding a live stream that has sat idle in zero-PCM silence.
Hypothesis
Token-silence EOU ends a long silence run by leaving decoder/lattice state that a subsequent fire_eou + reset_utterance does not fully clear (clear also does not). The next non-silent chunk is still emitted into that wedged state, so it decodes nothing. On Vulkan the same residual state surfaces on the next CacheAwareEncoder::encode as a cache-dimensions mismatch (ne3 == ne13), aborting the process.
- 主要言語
- C++
- スター
- 167
- フォーク
- 37
- 平均マージ
- 6日 23時間
- マージ済み PR（30日）
- 9
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートなし
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
NVIDIA/NeMo-Speech.cpp のほかの issue
-
難易度 3/5 半日 初心者へのやさしさ 66/100
NVIDIA/NeMo-Speech.cpp#64 ·
メンテナーはふだん 2 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 38/100
NVIDIA/NeMo-Speech.cpp#63 ·
メンテナーはふだん 2 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 52/100
NVIDIA/NeMo-Speech.cpp#61 ·
メンテナーはふだん 2 日以内に返信
-
enhancement
NVIDIA/NeMo-Speech.cpp#56 · コメント 3 件 ·
メンテナーはふだん 2 日以内に返信
-
Expose confidence estimation / token probabilities (currently always 1.0)対応中かも @pskrunner14 が 14 日前に担当しました。 オープンenhancement
難易度 4/5 3〜5日 初心者へのやさしさ 48/100
NVIDIA/NeMo-Speech.cpp#55 · コメント 2 件 · 担当者 1 名 ·
メンテナーはふだん 2 日以内に返信
NVIDIA/NeMo-Speech.cpp の issue をすべて見る
似ている issue
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
メンテナーはふだん 1 日以内に返信
-
enhancement
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
メンテナーはふだん 1 日以内に返信
-
`IO.FS.realPath` reports every failure as `noFileOrDirectory` instead of classifying by `errno`オープンbug
難易度 2/5 1〜3時間 初心者へのやさしさ 66/100
leanprover/lean4#15683 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 66/100
touhouworldcup/thprac#414 ·