NVIDIA/TensorRT-LLM

Ver en GitHub

TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in a performant way.

Estrellas: 14.7k
Forks: 2.8k
Issues abiertos para principiantes: 25
Issues indexados: 607
Merge medio: 3 d 3 h
PR fusionados (30 d): 493

Lenguaje dominante: Python
Licencia: Sin datos de licencia
Último push a GitHub: 20/9/2026
Última indexación: 19/9/2026
Guía de contribución: Guía de contribución
Código de conducta: Código de conducta
Etiquetas para principiantes: Sin etiquetas para principiantes indexadas

Para principiantes Todo

Abierto Todos

606 issues abiertos indexados

[Bug]: Whisper (PyTorch backend) fails on any repeated request when KV block reuse is on: "Request requires multimodal_embed_mask_cumsum for chunked prefill or KV-cache reuse" Abierto

bug Customized kernels KV-Cache Management Pytorch

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

NVIDIA/TensorRT-LLM#19515 · Abierto el 21/9/2026
[Bug]: cross Kv sizing with whisper Abierto

bug KV-Cache Management Pytorch

Dificultad 3/5 1-2 días Aptitud para principiantes 72/100

NVIDIA/TensorRT-LLM#19514 · Abierto el 21/9/2026
[Feature]: Add native text reranking support to the PyTorch backend Abierto

feature request Pytorch

NVIDIA/TensorRT-LLM#19510 · 1 asignado · Abierto el 21/9/2026
[RFC] Training/Inference Numerical Consistency for RL Post-Training Abierto

RFC

NVIDIA/TensorRT-LLM#19501 · 1 asignado · Abierto el 21/9/2026
[Bug]: LTX-2 asymmetric scale factors swap height and width Abierto

bug VisualGen

Dificultad 3/5 1-2 días Aptitud para principiantes 76/100

NVIDIA/TensorRT-LLM#19495 · Abierto el 21/9/2026
[Bug]: AutoDeploy logger treats verbose and internal_error as info Abierto

AutoDeploy bug

Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100

NVIDIA/TensorRT-LLM#19491 · 2 comentarios · Abierto el 21/9/2026
[Bug]: Speculative decoding + TorchSampler: unseeded requests share one RNG stream → identical/degenerate samples at low concurrency Abierto

bug Speculative Decoding

Dificultad 4/5 3-5 días Aptitud para principiantes 52/100

NVIDIA/TensorRT-LLM#19487 · 1 comentario · Abierto el 21/9/2026
[Bug]: Vanilla top-p sampling can trigger CUDA device-side assert when cumulative probability stays below top_p Abierto

bug

Dificultad 3/5 1-2 días Aptitud para principiantes 76/100

NVIDIA/TensorRT-LLM#19485 · Abierto el 21/9/2026
[New Model]: https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash Abierto

new model

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

NVIDIA/TensorRT-LLM#19481 · Abierto el 21/9/2026
[Feature]: Optional ModelScope model and tokenizer downloads Abierto

feature request

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

NVIDIA/TensorRT-LLM#19463 · Abierto el 21/9/2026
[Feature]: Expose image and video prompt-token counts in trtllm-serve responses Abierto

Multimodal

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

NVIDIA/TensorRT-LLM#19460 · Abierto el 20/9/2026
[Bug] Attention-DP fill-gate fail-fast can skip the model-parallel status gather on a post-fill rank Abierto

Disaggregated serving

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

NVIDIA/TensorRT-LLM#19435 · Abierto el 18/9/2026
[Bug]: Order-dependent mismatch in test_nvfp4_gather_grouped_gemm_act_fusion_rubin on SM107 Abierto

bug Customized kernels

NVIDIA/TensorRT-LLM#19364 · 1 asignado · Abierto el 17/9/2026
[Bug]: CuTe DSL NVFP4 SwiGLU / FP4Out dense GEMM has no SM107 kernel Abierto

bug Customized kernels

NVIDIA/TensorRT-LLM#19362 · 1 comentario · 1 asignado · Abierto el 17/9/2026
[Bug]: VBWS returns empty outputs when generation ends on a widening step Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 68/100

NVIDIA/TensorRT-LLM#19337 · 2 comentarios · Abierto el 17/9/2026
[Feature Request]: Migrate Scaffolding MCP clients and examples to Streamable HTTP Abierto

Scaffolding

Dificultad 4/5 3-5 días Aptitud para principiantes 25/100

NVIDIA/TensorRT-LLM#19329 · Abierto el 17/9/2026
[Bug]: Scaffolding role-filtered messages_to_retain may produce an unintended KV cache prefix boundary Abierto

Scaffolding

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

NVIDIA/TensorRT-LLM#19319 · 1 comentario · Abierto el 17/9/2026
[RFC]: Upcoming Model Deprecation Abierto

RFC

NVIDIA/TensorRT-LLM#19301 · 3 asignados · Abierto el 16/9/2026
[Bug]: Scaffolding KV cache hints use an unregistered HTTP endpoint Abierto

KV-Cache Management

Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100

NVIDIA/TensorRT-LLM#19281 · Abierto el 16/9/2026
[New Model]: Add Xing4.0 support Abierto

new model

Dificultad 5/5 Más de una semana Aptitud para principiantes 30/100

NVIDIA/TensorRT-LLM#19278 · Abierto el 16/9/2026
[Bug]: KVCacheBlock and its radix tree LookupNode own each other with shared_ptr, so blocks are never freed Abierto

KV-Cache Management

Dificultad 4/5 3-5 días Aptitud para principiantes 45/100

NVIDIA/TensorRT-LLM#19242 · Abierto el 16/9/2026
[Bug]: mixtureOfExpertsTest crashes with SEGV when a parameter set has no MoE GEMM tactics on the running SM Abierto

Customized kernels

Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100

NVIDIA/TensorRT-LLM#19240 · Abierto el 16/9/2026
[RFC]: Disaggregated request preprocessing Abierto

Disaggregated serving Frontend Investigating LLM API RFC triaged

NVIDIA/TensorRT-LLM#19232 · 1 comentario · 1 reacción · 4 asignados · Abierto el 15/9/2026
[Bug]: NemotronV3 reasoning parser surfaces a trailing think tag as content when the stream ends on it Abierto

LLM API

Dificultad 2/5 1-3 horas Aptitud para principiantes 52/100

NVIDIA/TensorRT-LLM#19229 · Abierto el 15/9/2026
[Bug]: Qwen3-Coder streaming tool parser never completes a zero-argument tool call Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 35/100

NVIDIA/TensorRT-LLM#19227 · Abierto el 15/9/2026
[Bug]: DeepSeek V3 streaming tool parser strips markdown fences from content Abierto

Dificultad 1/5 Menos de una hora Aptitud para principiantes 62/100

NVIDIA/TensorRT-LLM#19225 · Abierto el 15/9/2026
[Bug]: standalone Responses API input, streaming, and tool continuation failures with Agentic API Abierto

LLM API

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

NVIDIA/TensorRT-LLM#19223 · Abierto el 15/9/2026
[Bug]: `--cpp_only` build fails to configure: BUILD_PYT=OFF leaves TORCH_INSTALL_PREFIX empty, and core headers include torch unconditionally Abierto

Pytorch

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

NVIDIA/TensorRT-LLM#19193 · Abierto el 15/9/2026
Persist structured checkpoint-I/O policy and runtime-image identity in startup telemetry Abierto

Infra

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

NVIDIA/TensorRT-LLM#19173 · Abierto el 14/9/2026
[Bug]: Async prompt-embedding H2D outlives its pooled-pinned source; the pinned pool can overwrite the buffer mid-copy Abierto

bug Inference runtime Triton backend

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

NVIDIA/TensorRT-LLM#19172 · Abierto el 14/9/2026
[Bug]: -a 107-real is silently folded to 100, no SM107 code is generated Abierto

Infra

Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100

NVIDIA/TensorRT-LLM#19067 · Abierto el 11/9/2026
[Bug]: construct_if_true in moe_gemm_tma_ws_launcher.inl fails to compile at C++20 Abierto

Customized kernels

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

NVIDIA/TensorRT-LLM#19063 · 3 comentarios · Abierto el 11/9/2026
[Bug]: C++17 build cannot compile torch 2.12 headers with nvcc, but C++20 breaks float2(fp8) functional casts Abierto

Pytorch

Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100

NVIDIA/TensorRT-LLM#19059 · 3 comentarios · Abierto el 11/9/2026
[Feature]: Remove the FA4 install workaround after the PyTorch 26.05 upgrade Abierto

feature request Infra

NVIDIA/TensorRT-LLM#19033 · 1 asignado · Abierto el 10/9/2026
[Bug]: Multimodal metadata failures terminate the PyTorch executor instead of failing the request Abierto

Multimodal Pytorch

Dificultad 3/5 1-2 días Aptitud para principiantes 72/100

NVIDIA/TensorRT-LLM#18971 · 1 comentario · Abierto el 9/9/2026
[Bug]: EAGLE3 dynamic-tree decoding emits tokens outside the requested grammar Abierto

Speculative Decoding

Dificultad 4/5 3-5 días Aptitud para principiantes 66/100

NVIDIA/TensorRT-LLM#18892 · 1 comentario · Abierto el 8/9/2026
[Bug]: Guided decoding restarts its grammar after KV-cache recomputation Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 45/100

NVIDIA/TensorRT-LLM#18891 · 1 comentario · Abierto el 8/9/2026
[Bug] configure_cpu_affinity() is not idempotent: a second call un-pins every thread Abierto

Inference runtime

Dificultad 3/5 1-2 días Aptitud para principiantes 78/100

NVIDIA/TensorRT-LLM#18848 · 1 comentario · Abierto el 7/9/2026
[Bug] Worker CPU affinity is applied process-wide in shared-process deployments and never restored Abierto

Inference runtime

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

NVIDIA/TensorRT-LLM#18847 · Abierto el 7/9/2026
fix: Pass NVML CC settings by reference in release/1.2.1 Abierto

Inference runtime

Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100

NVIDIA/TensorRT-LLM#18816 · Abierto el 7/9/2026
Docs: legacy performance-tuning guide has broken image links and dead anchor; kv_cache_manager.md links removed code Abierto

Doc

Dificultad 3/5 1-2 días Aptitud para principiantes 68/100

NVIDIA/TensorRT-LLM#18777 · Abierto el 6/9/2026
seq_slot_manager.py uses undefined name 'logger' Abierto

Disaggregated serving Pytorch

Dificultad 1/5 Menos de una hora Aptitud para principiantes 90/100

NVIDIA/TensorRT-LLM#18776 · Abierto el 6/9/2026
[Bug]: [CUDA] cute::make_int_sequence<cute::size(...)> fails in dependent template contexts Abierto

bug Customized kernels Windows

Dificultad 3/5 1-2 días Aptitud para principiantes 75/100

NVIDIA/TensorRT-LLM#18775 · 1 comentario · Abierto el 6/9/2026
[Bug]: Responses history trimming hangs on over-capacity input without a completed turn Abierto

Inference runtime

Dificultad 3/5 1-2 días Aptitud para principiantes 78/100

NVIDIA/TensorRT-LLM#18759 · Abierto el 5/9/2026
[Bug]: Cosmos3 sequence-parallel path attends zero-padded text K/V when CFG prompts have unequal lengths (cfg_size=1, ulysses/CP > 1) Abierto

bug VisualGen

Dificultad 4/5 3-5 días Aptitud para principiantes 45/100

NVIDIA/TensorRT-LLM#18687 · Abierto el 3/9/2026
[Feature]: Load SGLang-format W4AFP8 checkpoints (quant_method: w4afp8, e.g. PhalaCloud GLM-5.x) natively Abierto

Low Precision

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

NVIDIA/TensorRT-LLM#18664 · Abierto el 3/9/2026
[Bug]: trtllm-serve stays alive returning 503 forever after a rank-crash hard kill (no exit for supervisors) Abierto

Inference runtime Pytorch

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

NVIDIA/TensorRT-LLM#18663 · 2 comentarios · Abierto el 3/9/2026
[Bug]: MTP accepts no draft tokens with use_kv_cache_manager_v2=false on DSA models (acceptance length 1.0) Abierto

Speculative Decoding

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

NVIDIA/TensorRT-LLM#18662 · Abierto el 3/9/2026
[Bug]: KVCacheManagerV2 raises 'History length cannot exceed capacity' in update_resources on a PP stage-2 rank (DSA model, block reuse off) Abierto

KV-Cache Management Pytorch

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

NVIDIA/TensorRT-LLM#18661 · 1 comentario · Abierto el 3/9/2026
[Bug]: KVCacheManagerV2 + DSA: indexer (draft) cache pool is not part of admission; exhaustion under prefix-shared long-context load aborts the engine Abierto

KV-Cache Management

NVIDIA/TensorRT-LLM#18660 · 1 asignado · Abierto el 3/9/2026

NVIDIA/TensorRT-LLM

Recibe los nuevos issues en tu correo