NVIDIA/TensorRT-Model-Connect

Ver en GitHub

From PyTorch model to end-to-end TensorRT inference experience in two commands—AI-native, cross-platform, and built for the best possible user experience.

Estrellas: 254
Forks: 58
Issues abiertos para principiantes: 2
Issues indexados: 52
Merge medio: 1 d 7 h
PR fusionados (30 d): 208

Lenguaje dominante: Python
Licencia: Apache-2.0
Último push a GitHub: 19/9/2026
Última indexación: 19/9/2026
Guía de contribución: Guía de contribución
Código de conducta: Sin código de conducta
Etiquetas para principiantes: good first issue

Para principiantes Todo

Abierto Todos

Bug: default Llama 3.1 builds fail to build (fp32) or cannot run (fp16) at the 131072-row default length Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

NVIDIA/TensorRT-Model-Connect#1414 · Abierto el 22/9/2026
Bug: CLI JPEG decoding (stb_image) differs from Pillow and consumes image-family parity margins Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 42/100

NVIDIA/TensorRT-Model-Connect#1410 · Abierto el 22/9/2026
Bug: Qwen3 native-KV decode cost scales with the 40960-row default KV capacity, not sequence length Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

NVIDIA/TensorRT-Model-Connect#1409 · 1 comentario · Abierto el 22/9/2026
test(architecture): require CPU-visible support identity tests for semantic Task families Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 68/100

NVIDIA/TensorRT-Model-Connect#1401 · 1 comentario · Abierto el 21/9/2026
Feature: Add Qwen3-VL-8B-Instruct to the qwen_vl family Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 68/100

NVIDIA/TensorRT-Model-Connect#1388 · 1 comentario · Abierto el 20/9/2026
Feature: Add point-cloud semantic segmentation task and PointNet model family Abierto

enhancement

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

NVIDIA/TensorRT-Model-Connect#1328 · 1 comentario · Abierto el 17/9/2026
Feature: Enable Telemetry for TRTMC Abierto

New Feature Request Roadmap

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

NVIDIA/TensorRT-Model-Connect#1325 · 3 comentarios · Abierto el 17/9/2026
Feature: Add Fun-CosyVoice3-0.5B-2512 native TensorRT support Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 30/100

NVIDIA/TensorRT-Model-Connect#1263 · 2 comentarios · Abierto el 11/9/2026
Feature: preserve multichannel audio in public results and WAV output Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

NVIDIA/TensorRT-Model-Connect#1254 · Abierto el 10/9/2026
Question: Interest in HeartMuLa 3B music-generation support? Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

NVIDIA/TensorRT-Model-Connect#1227 · 1 comentario · Abierto el 9/9/2026
Cross-family runtime safety and long-context issues found during #1158 review Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

NVIDIA/TensorRT-Model-Connect#1177 · 1 comentario · Abierto el 5/9/2026
Two defects every model family inherited: an unguarded device query and GPU tests that pass without running Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

NVIDIA/TensorRT-Model-Connect#1176 · Abierto el 5/9/2026
Docs: ITrtModule::forward() output-buffer lifetime and dtype contract are undocumented Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100

NVIDIA/TensorRT-Model-Connect#1126 · 1 comentario · Abierto el 2/9/2026
Docs: repo agent skills are unreachable from every documented entry point Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100

NVIDIA/TensorRT-Model-Connect#1125 · 1 comentario · Abierto el 2/9/2026
[Enterprise] Add end-to-end ESMFold2 support Abierto

enhancement Enterprise

Dificultad 5/5 Más de una semana Aptitud para principiantes 28/100

NVIDIA/TensorRT-Model-Connect#1113 · Abierto el 31/8/2026
[Enterprise] Complete MiniMax H3 production qualification Abierto

Enterprise

Dificultad 5/5 Más de una semana Aptitud para principiantes 28/100

NVIDIA/TensorRT-Model-Connect#1109 · 1 comentario · Abierto el 31/8/2026
[Community] Prepare TensorRT Model Connect for GTC Abierto

Community

Dificultad 5/5 Más de una semana Aptitud para principiantes 30/100

NVIDIA/TensorRT-Model-Connect#1108 · Abierto el 31/8/2026
[Demo] Create the canonical three-step Model Connect demo Abierto

Community good first issue

Dificultad 5/5 Más de una semana Aptitud para principiantes 48/100

NVIDIA/TensorRT-Model-Connect#1107 · 3 comentarios · Abierto el 31/8/2026
[Community] Curate and protect a queue of good first issues Abierto

Community

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

NVIDIA/TensorRT-Model-Connect#1106 · Abierto el 31/8/2026
[Community] Launch recurring Model Connect livestreams Abierto

Community

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

NVIDIA/TensorRT-Model-Connect#1105 · Abierto el 31/8/2026
[Benchmark] Integrate the ALE benchmark Abierto

Platform

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

NVIDIA/TensorRT-Model-Connect#1104 · 1 comentario · Abierto el 31/8/2026
[Community] Add a Hugging Face badge for verified Model Connect support Abierto

Community

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

NVIDIA/TensorRT-Model-Connect#1103 · Abierto el 31/8/2026
[Community] Establish QA staffing and ownership Abierto

Community

Dificultad 5/5 Más de una semana Aptitud para principiantes 28/100

NVIDIA/TensorRT-Model-Connect#1102 · Abierto el 31/8/2026
[Community] Provision GPU capacity for Community CI Abierto

Community

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

NVIDIA/TensorRT-Model-Connect#1101 · 2 comentarios · Abierto el 31/8/2026
[Docs] Add TensorRT Model Connect to the TensorRT documentation Abierto

Platform

Dificultad 4/5 3-5 días Aptitud para principiantes 68/100

NVIDIA/TensorRT-Model-Connect#1100 · 1 comentario · Abierto el 31/8/2026
[Platform] Add qualified runtime dispatch to Edge-LLM Abierto

Platform

Dificultad 5/5 Más de una semana Aptitud para principiantes 30/100

NVIDIA/TensorRT-Model-Connect#1099 · Abierto el 31/8/2026
[Platform] Enhance TVM-FFI Bridge and open up kernel slots for flashinfer Abierto

Platform

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

NVIDIA/TensorRT-Model-Connect#1098 · 1 comentario · Abierto el 31/8/2026
[Platform] Identify and selectively deduplicate shared code hot spots Abierto

Platform

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

NVIDIA/TensorRT-Model-Connect#1097 · Abierto el 31/8/2026
Feature: Add MiniMaxAI/MiniMax-Music3 support Abierto

AI enhancement model-onboarding

NVIDIA/TensorRT-Model-Connect#1092 · 8 comentarios · 1 asignado · Abierto el 29/8/2026
[RFC] Selective debug windows in dual-profile builders - extend the sana_wm/gemma pattern to generic families Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 38/100

NVIDIA/TensorRT-Model-Connect#1088 · 2 comentarios · Abierto el 29/8/2026
Bug: checkpoint validation disappears under optimized Python Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 45/100

NVIDIA/TensorRT-Model-Connect#1052 · 3 comentarios · Abierto el 26/8/2026
Feature: Add ornith-ai/Ornith-1.5-9B checkpoint support Abierto

AI enhancement model-onboarding

NVIDIA/TensorRT-Model-Connect#1050 · 2 comentarios · 1 asignado · Abierto el 26/8/2026
Question: What is the runtime of Fast-FoundationStereo on a 5090? Abierto

question

Dificultad 3/5 1-2 días Aptitud para principiantes 35/100

NVIDIA/TensorRT-Model-Connect#1045 · 1 comentario · Abierto el 26/8/2026
Feature: Add Wan 3.0 video model support Abierto

AI enhancement good first issue

NVIDIA/TensorRT-Model-Connect#1038 · 3 comentarios · 1 asignado · Abierto el 26/8/2026
Feature: Introduce Node.js Language Bindings for TRT-Model-Connect (Prototype) Abierto

enhancement

Dificultad 5/5 Más de una semana Aptitud para principiantes 30/100

NVIDIA/TensorRT-Model-Connect#1030 · 1 comentario · Abierto el 25/8/2026
Feature: support biology models - Boltz-2, OpenFold3, ESMFold2 Abierto

enhancement Enterprise

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

NVIDIA/TensorRT-Model-Connect#998 · 3 comentarios · Abierto el 21/8/2026
Docs: Clarify the quantization → inference → serving workflow in TRT Model Connect, with clear end-to-end user documentation. Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 45/100

NVIDIA/TensorRT-Model-Connect#988 · 2 comentarios · Abierto el 21/8/2026
Feature: Visibility tools for perf optimization and debugging Abierto

enhancement New Feature Request

Dificultad 5/5 Más de una semana Aptitud para principiantes 28/100

NVIDIA/TensorRT-Model-Connect#987 · Abierto el 21/8/2026
Feature: Enable a self-service import path for customer-proprietary models, allowing customers to import their models without sharing model architecture or weights with NVIDIA. Abierto

New Feature Request

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

NVIDIA/TensorRT-Model-Connect#986 · Abierto el 21/8/2026
[Refactor] Render E2E reproduction commands with shlex.join Abierto

enhancement good first issue

Dificultad 4/5 3-5 días Aptitud para principiantes 56/100

NVIDIA/TensorRT-Model-Connect#976 · 3 comentarios · Abierto el 21/8/2026
Question: Qwen3 native KV-cache decode engine fails to build on SM120/SM121 (DGX Spark / GB10) Abierto

bug question

Dificultad 4/5 3-5 días Aptitud para principiantes 42/100

NVIDIA/TensorRT-Model-Connect#955 · 10 comentarios · Abierto el 20/8/2026
Feature: Make documentation LLM friendly Abierto

enhancement New Feature Request

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

NVIDIA/TensorRT-Model-Connect#954 · 1 comentario · Abierto el 20/8/2026
Feature: LFM2-MoE and LFM2-VL follow-on families (scoping) Abierto

enhancement

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

NVIDIA/TensorRT-Model-Connect#943 · 4 comentarios · Abierto el 20/8/2026
[Performance] nemotron-hindi-4b latency is 17.0% above reference Abierto

AI bug

Dificultad 4/5 3-5 días Aptitud para principiantes 42/100

NVIDIA/TensorRT-Model-Connect#905 · Abierto el 17/8/2026
[Performance] glm-4-9b latency is 25.5% above reference Abierto

AI bug nvbug:trtmc

Dificultad 4/5 3-5 días Aptitud para principiantes 42/100

NVIDIA/TensorRT-Model-Connect#904 · Abierto el 17/8/2026
[Performance] riva-translate-4b latency is 35.3% above reference Abierto

AI bug

Dificultad 5/5 Más de una semana Aptitud para principiantes 38/100

NVIDIA/TensorRT-Model-Connect#903 · Abierto el 17/8/2026
[Performance] qwen3-4b-instruct-2507 latency is 39.7% above reference Abierto

AI bug

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

NVIDIA/TensorRT-Model-Connect#901 · Abierto el 17/8/2026
[Performance] mistral-7b latency is 65.5% above the FP16 reference Abierto

AI bug

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

NVIDIA/TensorRT-Model-Connect#900 · Abierto el 17/8/2026
[Performance] phi-moe is 3.84x slower than its FP16 reference Abierto

AI bug

Dificultad 4/5 3-5 días Aptitud para principiantes 45/100

NVIDIA/TensorRT-Model-Connect#895 · Abierto el 17/8/2026
Bug: TensorRT 11.2 bundles can hit Myelin CUDA illegal memory access after successful generation Abierto

AI bug

Dificultad 5/5 Más de una semana Aptitud para principiantes 32/100

NVIDIA/TensorRT-Model-Connect#428 · Abierto el 9/7/2026

NVIDIA/TensorRT-Model-Connect

Recibe los nuevos issues en tu correo