NVIDIA/TensorRT-Model-Connect

在 GitHub 查看

From PyTorch model to end-to-end TensorRT inference experience in two commands—AI-native, cross-platform, and built for the best possible user experience.

星标: 254
派生: 58
开放的新手 issue: 2
已索引 issue: 52
平均合并: 1 天 7 小时
30 天内合并 PR: 208

主要语言: Python
许可证: Apache-2.0
最近 GitHub push: 2026年9月19日
最近索引: 2026年9月19日
贡献指南: 贡献指南
行为准则: 没有行为准则
新手标签: good first issue

适合新手全部

未关闭全部

Bug: default Llama 3.1 builds fail to build (fp32) or cannot run (fp16) at the 131072-row default length 未关闭

难度 4/5 3-5 天新手友好度 48/100

NVIDIA/TensorRT-Model-Connect#1414 · 2026年9月22日创建
Bug: CLI JPEG decoding (stb_image) differs from Pillow and consumes image-family parity margins 未关闭

难度 5/5 一周以上新手友好度 42/100

NVIDIA/TensorRT-Model-Connect#1410 · 2026年9月22日创建
Bug: Qwen3 native-KV decode cost scales with the 40960-row default KV capacity, not sequence length 未关闭

难度 4/5 3-5 天新手友好度 48/100

NVIDIA/TensorRT-Model-Connect#1409 · 1 条评论 · 2026年9月22日创建
test(architecture): require CPU-visible support identity tests for semantic Task families 未关闭

难度 4/5 3-5 天新手友好度 68/100

NVIDIA/TensorRT-Model-Connect#1401 · 1 条评论 · 2026年9月21日创建
Feature: Add Qwen3-VL-8B-Instruct to the qwen_vl family 未关闭

难度 4/5 3-5 天新手友好度 68/100

NVIDIA/TensorRT-Model-Connect#1388 · 1 条评论 · 2026年9月20日创建
Feature: Add point-cloud semantic segmentation task and PointNet model family 未关闭

enhancement

难度 5/5 一周以上新手友好度 35/100

NVIDIA/TensorRT-Model-Connect#1328 · 1 条评论 · 2026年9月17日创建
Feature: Enable Telemetry for TRTMC 未关闭

New Feature Request Roadmap

难度 5/5 一周以上新手友好度 35/100

NVIDIA/TensorRT-Model-Connect#1325 · 3 条评论 · 2026年9月17日创建
Feature: Add Fun-CosyVoice3-0.5B-2512 native TensorRT support 未关闭

难度 5/5 一周以上新手友好度 30/100

NVIDIA/TensorRT-Model-Connect#1263 · 2 条评论 · 2026年9月11日创建
Feature: preserve multichannel audio in public results and WAV output 未关闭

难度 5/5 一周以上新手友好度 25/100

NVIDIA/TensorRT-Model-Connect#1254 · 2026年9月10日创建
Question: Interest in HeartMuLa 3B music-generation support? 未关闭

难度 5/5 一周以上新手友好度 25/100

NVIDIA/TensorRT-Model-Connect#1227 · 1 条评论 · 2026年9月9日创建
Cross-family runtime safety and long-context issues found during #1158 review 未关闭

难度 5/5 一周以上新手友好度 35/100

NVIDIA/TensorRT-Model-Connect#1177 · 1 条评论 · 2026年9月5日创建
Two defects every model family inherited: an unguarded device query and GPU tests that pass without running 未关闭

难度 5/5 一周以上新手友好度 35/100

NVIDIA/TensorRT-Model-Connect#1176 · 2026年9月5日创建
Docs: ITrtModule::forward() output-buffer lifetime and dtype contract are undocumented 未关闭

难度 2/5 1-3 小时新手友好度 82/100

NVIDIA/TensorRT-Model-Connect#1126 · 1 条评论 · 2026年9月2日创建
Docs: repo agent skills are unreachable from every documented entry point 未关闭

难度 2/5 1-3 小时新手友好度 85/100

NVIDIA/TensorRT-Model-Connect#1125 · 1 条评论 · 2026年9月2日创建
[Enterprise] Add end-to-end ESMFold2 support 未关闭

enhancement Enterprise

难度 5/5 一周以上新手友好度 28/100

NVIDIA/TensorRT-Model-Connect#1113 · 2026年8月31日创建
[Enterprise] Complete MiniMax H3 production qualification 未关闭

Enterprise

难度 5/5 一周以上新手友好度 28/100

NVIDIA/TensorRT-Model-Connect#1109 · 1 条评论 · 2026年8月31日创建
[Community] Prepare TensorRT Model Connect for GTC 未关闭

Community

难度 5/5 一周以上新手友好度 30/100

NVIDIA/TensorRT-Model-Connect#1108 · 2026年8月31日创建
[Demo] Create the canonical three-step Model Connect demo 未关闭

Community good first issue

难度 5/5 一周以上新手友好度 48/100

NVIDIA/TensorRT-Model-Connect#1107 · 3 条评论 · 2026年8月31日创建
[Community] Curate and protect a queue of good first issues 未关闭

Community

难度 5/5 一周以上新手友好度 35/100

NVIDIA/TensorRT-Model-Connect#1106 · 2026年8月31日创建
[Community] Launch recurring Model Connect livestreams 未关闭

Community

难度 5/5 一周以上新手友好度 35/100

NVIDIA/TensorRT-Model-Connect#1105 · 2026年8月31日创建
[Benchmark] Integrate the ALE benchmark 未关闭

Platform

难度 5/5 一周以上新手友好度 35/100

NVIDIA/TensorRT-Model-Connect#1104 · 1 条评论 · 2026年8月31日创建
[Community] Add a Hugging Face badge for verified Model Connect support 未关闭

Community

难度 5/5 一周以上新手友好度 25/100

NVIDIA/TensorRT-Model-Connect#1103 · 2026年8月31日创建
[Community] Establish QA staffing and ownership 未关闭

Community

难度 5/5 一周以上新手友好度 28/100

NVIDIA/TensorRT-Model-Connect#1102 · 2026年8月31日创建
[Community] Provision GPU capacity for Community CI 未关闭

Community

难度 5/5 一周以上新手友好度 25/100

NVIDIA/TensorRT-Model-Connect#1101 · 2 条评论 · 2026年8月31日创建
[Docs] Add TensorRT Model Connect to the TensorRT documentation 未关闭

Platform

难度 4/5 3-5 天新手友好度 68/100

NVIDIA/TensorRT-Model-Connect#1100 · 1 条评论 · 2026年8月31日创建
[Platform] Add qualified runtime dispatch to Edge-LLM 未关闭

Platform

难度 5/5 一周以上新手友好度 30/100

NVIDIA/TensorRT-Model-Connect#1099 · 2026年8月31日创建
[Platform] Enhance TVM-FFI Bridge and open up kernel slots for flashinfer 未关闭

Platform

难度 5/5 一周以上新手友好度 25/100

NVIDIA/TensorRT-Model-Connect#1098 · 1 条评论 · 2026年8月31日创建
[Platform] Identify and selectively deduplicate shared code hot spots 未关闭

Platform

难度 5/5 一周以上新手友好度 35/100

NVIDIA/TensorRT-Model-Connect#1097 · 2026年8月31日创建
Feature: Add MiniMaxAI/MiniMax-Music3 support 未关闭

AI enhancement model-onboarding

NVIDIA/TensorRT-Model-Connect#1092 · 8 条评论 · 已指派 1 人 · 2026年8月29日创建
[RFC] Selective debug windows in dual-profile builders - extend the sana_wm/gemma pattern to generic families 未关闭

难度 5/5 一周以上新手友好度 38/100

NVIDIA/TensorRT-Model-Connect#1088 · 2 条评论 · 2026年8月29日创建
Bug: checkpoint validation disappears under optimized Python 未关闭

难度 5/5 一周以上新手友好度 45/100

NVIDIA/TensorRT-Model-Connect#1052 · 3 条评论 · 2026年8月26日创建
Feature: Add ornith-ai/Ornith-1.5-9B checkpoint support 未关闭

AI enhancement model-onboarding

NVIDIA/TensorRT-Model-Connect#1050 · 2 条评论 · 已指派 1 人 · 2026年8月26日创建
Question: What is the runtime of Fast-FoundationStereo on a 5090? 未关闭

question

难度 3/5 1-2 天新手友好度 35/100

NVIDIA/TensorRT-Model-Connect#1045 · 1 条评论 · 2026年8月26日创建
Feature: Add Wan 3.0 video model support 未关闭

AI enhancement good first issue

NVIDIA/TensorRT-Model-Connect#1038 · 3 条评论 · 已指派 1 人 · 2026年8月26日创建
Feature: Introduce Node.js Language Bindings for TRT-Model-Connect (Prototype) 未关闭

enhancement

难度 5/5 一周以上新手友好度 30/100

NVIDIA/TensorRT-Model-Connect#1030 · 1 条评论 · 2026年8月25日创建
Feature: support biology models - Boltz-2, OpenFold3, ESMFold2 未关闭

enhancement Enterprise

难度 5/5 一周以上新手友好度 25/100

NVIDIA/TensorRT-Model-Connect#998 · 3 条评论 · 2026年8月21日创建
Docs: Clarify the quantization → inference → serving workflow in TRT Model Connect, with clear end-to-end user documentation. 未关闭

难度 4/5 3-5 天新手友好度 45/100

NVIDIA/TensorRT-Model-Connect#988 · 2 条评论 · 2026年8月21日创建
Feature: Visibility tools for perf optimization and debugging 未关闭

enhancement New Feature Request

难度 5/5 一周以上新手友好度 28/100

NVIDIA/TensorRT-Model-Connect#987 · 2026年8月21日创建
Feature: Enable a self-service import path for customer-proprietary models, allowing customers to import their models without sharing model architecture or weights with NVIDIA. 未关闭

New Feature Request

难度 5/5 一周以上新手友好度 25/100

NVIDIA/TensorRT-Model-Connect#986 · 2026年8月21日创建
[Refactor] Render E2E reproduction commands with shlex.join 未关闭

enhancement good first issue

难度 4/5 3-5 天新手友好度 56/100

NVIDIA/TensorRT-Model-Connect#976 · 3 条评论 · 2026年8月21日创建
Question: Qwen3 native KV-cache decode engine fails to build on SM120/SM121 (DGX Spark / GB10) 未关闭

bug question

难度 4/5 3-5 天新手友好度 42/100

NVIDIA/TensorRT-Model-Connect#955 · 10 条评论 · 2026年8月20日创建
Feature: Make documentation LLM friendly 未关闭

enhancement New Feature Request

难度 5/5 一周以上新手友好度 35/100

NVIDIA/TensorRT-Model-Connect#954 · 1 条评论 · 2026年8月20日创建
Feature: LFM2-MoE and LFM2-VL follow-on families (scoping) 未关闭

enhancement

难度 5/5 一周以上新手友好度 35/100

NVIDIA/TensorRT-Model-Connect#943 · 4 条评论 · 2026年8月20日创建
[Performance] nemotron-hindi-4b latency is 17.0% above reference 未关闭

AI bug

难度 4/5 3-5 天新手友好度 42/100

NVIDIA/TensorRT-Model-Connect#905 · 2026年8月17日创建
[Performance] glm-4-9b latency is 25.5% above reference 未关闭

AI bug nvbug:trtmc

难度 4/5 3-5 天新手友好度 42/100

NVIDIA/TensorRT-Model-Connect#904 · 2026年8月17日创建
[Performance] riva-translate-4b latency is 35.3% above reference 未关闭

AI bug

难度 5/5 一周以上新手友好度 38/100

NVIDIA/TensorRT-Model-Connect#903 · 2026年8月17日创建
[Performance] qwen3-4b-instruct-2507 latency is 39.7% above reference 未关闭

AI bug

难度 4/5 3-5 天新手友好度 48/100

NVIDIA/TensorRT-Model-Connect#901 · 2026年8月17日创建
[Performance] mistral-7b latency is 65.5% above the FP16 reference 未关闭

AI bug

难度 4/5 3-5 天新手友好度 48/100

NVIDIA/TensorRT-Model-Connect#900 · 2026年8月17日创建
[Performance] phi-moe is 3.84x slower than its FP16 reference 未关闭

AI bug

难度 4/5 3-5 天新手友好度 45/100

NVIDIA/TensorRT-Model-Connect#895 · 2026年8月17日创建
Bug: TensorRT 11.2 bundles can hit Myelin CUDA illegal memory access after successful generation 未关闭

AI bug

难度 5/5 一周以上新手友好度 32/100

NVIDIA/TensorRT-Model-Connect#428 · 2026年7月9日创建

NVIDIA/TensorRT-Model-Connect

把新 issue 发到你的邮箱