NVIDIA/TensorRT-Edge-LLM

登录后关注

在 GitHub 查看

High-performance, light-weight C++ LLM and VLM Inference Software for Physical AI

NVIDIA/TensorRT-Edge-LLM 对新手友好吗？

近 30 天，NVIDIA/TensorRT-Edge-LLM 合并了外部贡献者提交的 13 个 PR 中的 0 个，维护者通常 1 天内回复。目前有 8 个适合新手的 issue 开放。

星标: 563
派生: 135
开放的新手 issue: 8
已索引 issue: 74
平均合并: 14 小时 13 分钟
30 天内合并 PR: 1

主要语言: Python
许可证: Apache-2.0
最近 GitHub push: 2026年9月3日
最近索引: 2026年9月19日
贡献指南: 贡献指南
行为准则: 行为准则
新手标签: 没有已索引的新手标签

如何为 NVIDIA/TensorRT-Edge-LLM 做贡献

先读贡献指南：它说明了维护者希望如何提出、测试和评审改动。
读一下行为准则：它同样适用于 issue 和 PR，而不只是聊天。
你的贡献将以该项目的 Apache-2.0 许可证发布。
从下方 8 个开放的新手友好 issue 中选一个，开始之前先留言说明你想认领它。

适合新手全部

未关闭全部

可能已有人在做的 issue 排在最后。全部按时间排序

OpenAI-compatible server cannot build MTP spec-base engine for Qwen3.8-27B: `--speculative-config {"method":"mtp"}` fails in the Python builder (Myelin tactic assertion)
未关闭
- 哪里不对？
bug

难度 4/5 3-5 天新手友好度 45/100

NVIDIA/TensorRT-Edge-LLM#223 · 4 条评论 · 2026年9月27日创建

维护者通常 1 天内回复
llm_build fails with Myelin codegen error for maxInputLen >= 229376 (and 131072 at default batch size) on Qwen3.8-27B / SM110
未关闭
- 哪里不对？
bug

难度 4/5 3-5 天新手友好度 48/100

NVIDIA/TensorRT-Edge-LLM#222 · 2 条评论 · 2026年9月26日创建

维护者通常 1 天内回复
feat: Add image-text datasets
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 48/100

NVIDIA/TensorRT-Edge-LLM#221 · 1 条评论 · 2026年9月25日创建

维护者通常 1 天内回复
Decoding cannot be constrained: no per-step hook in the sampling path, and `logit_bias` cannot substitute for one
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 38/100

NVIDIA/TensorRT-Edge-LLM#218 · 1 条评论 · 2026年9月17日创建

维护者通常 1 天内回复
Direct export/build fails for Qwen3 VL FP8 fine-grained 2D block-FP8 checkpoints
未关闭
- 哪里不对？
bug

难度 4/5 3-5 天新手友好度 55/100

NVIDIA/TensorRT-Edge-LLM#217 · 2 条评论 · 2026年9月17日创建

维护者通常 1 天内回复
tensorrt-edgellm-build --dense nvfp4-qdq SIGSEGVs in a libnvinfer compiler worker thread on Jetson Thor (CC 11.0) for Cosmos-Reason2-2B; --dense fp16 builds fine from the same NVFP4 checkpoint
未关闭
- 哪里不对？
bug

难度 4/5 3-5 天新手友好度 48/100

NVIDIA/TensorRT-Edge-LLM#216 · 10 条评论 · 2026年9月17日创建

维护者通常 1 天内回复
llm_inference ignores temperature/top_p/top_k from the input JSON its own help tells you to set them in
未关闭
- 哪里不对？
难度 2/5 1-3 小时新手友好度 84/100

NVIDIA/TensorRT-Edge-LLM#211 · 2 条评论 · 2026年9月12日创建

维护者通常 1 天内回复
Int4GroupwiseGemmPluginV2 fails silently when ENABLE_CUTE_DSL omits int4_fp16_gemm: "Failed to enqueue status -1" with no diagnostic
未关闭
- 哪里不对？
难度 2/5 1-3 小时新手友好度 35/100

NVIDIA/TensorRT-Edge-LLM#210 · 1 条评论 · 2026年9月11日创建

维护者通常 1 天内回复
ONNX-less direct builder cannot resolve decoder tensors for multimodal cosmos3_edge, and renaming them yields a numerically wrong engine
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 35/100

NVIDIA/TensorRT-Edge-LLM#208 · 2026年9月11日创建

维护者通常 1 天内回复
SM103 (B300 / Blackwell Ultra) is missing from five SM allowlists across the build and the attention path
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 58/100

NVIDIA/TensorRT-Edge-LLM#206 · 2026年9月11日创建

维护者通常 1 天内回复
XQA NVRTC JIT passes no CUDA include path: cuda_fp16.h cannot find vector_types.h on x86 CUDA 12.x
未关闭
- 哪里不对？
难度 3/5 1-2 天新手友好度 68/100

NVIDIA/TensorRT-Edge-LLM#204 · 2026年9月11日创建

维护者通常 1 天内回复
x86 CuteDSL cubins missing in the repo
未关闭
- 哪里不对？
bug

难度 3/5 1-2 天新手友好度 55/100

NVIDIA/TensorRT-Edge-LLM#203 · 1 条评论 · 2026年9月10日创建

维护者通常 1 天内回复
feat: Add base64 image support to llm_inference
未关闭
- 哪里不对？
难度 3/5 1-2 天新手友好度 67/100

NVIDIA/TensorRT-Edge-LLM#202 · 2026年9月10日创建

维护者通常 1 天内回复
Experimental OpenAI-compatible server fails to start with: ModuleNotFoundError: No module named 'tensorrt'
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 55/100

NVIDIA/TensorRT-Edge-LLM#201 · 1 条评论 · 2026年9月9日创建

维护者通常 1 天内回复
Qwen3-TTS CodePredictor (MTP) crashes with "No available kernel for the GQA" on Jetson AGX Orin
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 48/100

NVIDIA/TensorRT-Edge-LLM#198 · 2026年9月4日创建

维护者通常 1 天内回复
Version mismatch while running engine files
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 35/100

NVIDIA/TensorRT-Edge-LLM#194 · 5 条评论 · 2026年8月25日创建

维护者通常 1 天内回复
Qwen3.8-27B NVFP4 base engine build fails: Myelin removeEmptyProducersFromSubgraph not implemented for PLUGIN_V3 (Jetson Thor, TRT 10.13.3.9 and 10.14.1.48)
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 42/100

NVIDIA/TensorRT-Edge-LLM#192 · 4 条评论 · 2026年8月24日创建

维护者通常 1 天内回复
feat: Add base64 image support to the OpenAI-compatible server
未关闭
- 哪里不对？
External PR Request

难度 3/5 1-2 天新手友好度 35/100

NVIDIA/TensorRT-Edge-LLM#191 · 1 条评论 · 2026年8月24日创建

维护者通常 1 天内回复
feat: add InternVLA-N1-DualVLN vision-language navigation support
未关闭
- 哪里不对？
New Model

难度 5/5 一周以上新手友好度 25/100

NVIDIA/TensorRT-Edge-LLM#190 · 2026年8月24日创建

维护者通常 1 天内回复
feat: quantized runtime input sidecars for Gemma 4 E-models
未关闭
- 哪里不对？
External PR Request

难度 5/5 一周以上新手友好度 35/100

NVIDIA/TensorRT-Edge-LLM#188 · 1 条评论 · 2026年8月22日创建

维护者通常 1 天内回复
[Jetson AGX Orin][v0.10.0] Native build may generate XQA kernels for SM80/86/89 instead of SM87
未关闭
- 哪里不对？
bug

难度 3/5 1-2 天新手友好度 68/100

NVIDIA/TensorRT-Edge-LLM#187 · 1 条评论 · 2026年8月21日创建

维护者通常 1 天内回复
Support multimodal calibration when quantizing only the LLM backbone
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 54/100

NVIDIA/TensorRT-Edge-LLM#186 · 2 个 reaction · 2026年8月20日创建

维护者通常 1 天内回复
The discrepancy between the cosine similarity of the intermediate vectors in the VIT engine of Qwen3-8B-VL and the PyTorch-based visual part leads to a decrease in accuracy.
未关闭
- 哪里不对？
bug

难度 5/5 一周以上新手友好度 35/100

NVIDIA/TensorRT-Edge-LLM#185 · 2026年8月19日创建

维护者通常 1 天内回复
fix: Jetson Orin + JetPack 6.2 (CUDA 12.6, listed as Compatible platform) fails to build with ENABLE_CUTE_DSL=ALL — missing cudaLibrary_t compat shim in cuteDslF16MoeRunner.h
未关闭
- 哪里不对？
bug

难度 2/5 1-3 小时新手友好度 78/100

NVIDIA/TensorRT-Edge-LLM#183 · 4 条评论 · 1 个 reaction · 2026年8月17日创建

维护者通常 1 天内回复
handle_request() occasionally hangs forever (not a GPU fault) -- confirmed live with py-spy + gdb, no Xid errors
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 28/100

NVIDIA/TensorRT-Edge-LLM#181 · 1 条评论 · 2026年8月16日创建

维护者通常 1 天内回复
Idle scheduler loop retains last request's SamplingParams and re-validates it continuously (~30Hz), driving CPU + memory growth with zero active requests
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 55/100

NVIDIA/TensorRT-Edge-LLM#180 · 1 条评论 · 2026年8月16日创建

维护者通常 1 天内回复
[Bug][Jetson AGX Orin] TensorRT slot.cpp decode assertion on every request after rebuilding at maxBatchSize=1 (fc_h_fusion workaround from #151)
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 28/100

NVIDIA/TensorRT-Edge-LLM#179 · 2026年8月15日创建

维护者通常 1 天内回复
[Bug] v0.10.0: prebuilt sm_87 (Jetson Orin) CuteDSL artifact missing fmha_v2_d* kernel modules, breaks all LLM engine builds
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 65/100

NVIDIA/TensorRT-Edge-LLM#178 · 3 条评论 · 2026年8月15日创建

维护者通常 1 天内回复
[BUG] Qwen3-TTS CP-FP8 calibration failed, it mixes text and codec embedding domains
未关闭
- 哪里不对？
bug

难度 5/5 一周以上新手友好度 38/100

NVIDIA/TensorRT-Edge-LLM#175 · 1 条评论 · 2026年8月13日创建

维护者通常 1 天内回复
CuTe DSL SSD head_dim=80 for Nemotron Mamba prefill on SM80+ (Blackwell D64 slab)
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 48/100

NVIDIA/TensorRT-Edge-LLM#174 · 4 条评论 · 2026年8月13日创建

维护者通常 1 天内回复
[BUG] ONNX Export fails for Qwen3.5 MTP draft model with 4-bit quantized checkpoint due to unpacked mtp.fc.weight shape mismatch
未关闭
- 哪里不对？
bug

难度 3/5 1-2 天新手友好度 55/100

NVIDIA/TensorRT-Edge-LLM#168 · 2 条评论 · 2026年8月10日创建

维护者通常 1 天内回复
Exporting Alpamayo-R1-10B fails with AssertionError
未关闭
- 哪里不对？
bug

难度 3/5 1-2 天新手友好度 55/100

NVIDIA/TensorRT-Edge-LLM#166 · 1 条评论 · 2026年8月6日创建

维护者通常 1 天内回复
position_embeddings need check valid
未关闭
- 哪里不对？
bug

难度 2/5 1-3 小时新手友好度 78/100

NVIDIA/TensorRT-Edge-LLM#165 · 2 条评论 · 2026年8月6日创建

维护者通常 1 天内回复
Bug: Garbage / repetitive output on Jetson AGX Thor (SM110) across all quantization formats using CuTe DSL FMHA
未关闭
- 哪里不对？
bug

难度 5/5 一周以上新手友好度 32/100

NVIDIA/TensorRT-Edge-LLM#164 · 2 条评论 · 2026年8月5日创建

维护者通常 1 天内回复
Exporting Qwen2.5-VL AWQ checkpoints fails with KeyError: 'num_heads'
未关闭
- 哪里不对？
bug

难度 3/5 1-2 天新手友好度 58/100

NVIDIA/TensorRT-Edge-LLM#163 · 1 条评论 · 2026年8月5日创建

维护者通常 1 天内回复
[Bug] gen_cubins.py: XQA cubin generation writes to the module-level default path instead of --output_dir when workers do not inherit __main__ state
未关闭
- 哪里不对？
难度 3/5 1-2 天新手友好度 70/100

NVIDIA/TensorRT-Edge-LLM#161 · 3 条评论 · 2026年8月4日创建

维护者通常 1 天内回复
Qwen3.5-35B-A3B GPTQ INT4 ONNX export ERROR using tensorrt edge llm 0.9.0
未关闭
- 哪里不对？
bug

难度 4/5 3-5 天新手友好度 48/100

NVIDIA/TensorRT-Edge-LLM#158 · 4 条评论 · 2026年7月31日创建

维护者通常 1 天内回复
CUDA_ERROR_ILLEGAL_ADDRESS in XQA on Jetson Orin Nx for Gemma4
未关闭
- 哪里不对？
bug

难度 4/5 3-5 天新手友好度 48/100

NVIDIA/TensorRT-Edge-LLM#153 · 1 条评论 · 2026年7月29日创建

维护者通常 1 天内回复
[Regression][Jetson AGX Thor] Layer-0 V tensor corruption in v0.9.1; v0.4.0 works correctly on the same JetPack 7.1 system
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 35/100

NVIDIA/TensorRT-Edge-LLM#151 · 6 条评论 · 2026年7月28日创建

维护者通常 1 天内回复
LLM Quantization Cannot Load `text_dataset` (Default and Custom Values Fail)
未关闭
- 哪里不对？
bug

难度 3/5 1-2 天新手友好度 65/100

NVIDIA/TensorRT-Edge-LLM#150 · 2 条评论 · 2026年7月27日创建

维护者通常 1 天内回复
[Bug][Export]: checkpoint loader can replace declared FP16/BF16 parameters with FP32 tensors
未关闭
- 哪里不对？
难度 2/5 1-3 小时新手友好度 72/100

NVIDIA/TensorRT-Edge-LLM#144 · 1 条评论 · 2026年7月25日创建

维护者通常 1 天内回复
[Bug][Runtime]: context FMHA loads unrelated mask-type cubins and can fail with CUDA_ERROR_INVALID_IMAGE
未关闭
- 哪里不对？
难度 4/5 3-5 天新手友好度 55/100

NVIDIA/TensorRT-Edge-LLM#143 · 2026年7月25日创建

维护者通常 1 天内回复
visual_quantization: invalid choice: 'mxfp8'
未关闭
- 哪里不对？
bug

难度 5/5 一周以上新手友好度 35/100

NVIDIA/TensorRT-Edge-LLM#139 · 1 条评论 · 2026年7月25日创建

维护者通常 1 天内回复
Support for Quantized Alpamayo Export
未关闭
- 哪里不对？
难度 5/5 一周以上新手友好度 30/100

NVIDIA/TensorRT-Edge-LLM#134 · 5 条评论 · 2026年7月21日创建

维护者通常 1 天内回复
llm_bench profiling
未关闭
- 哪里不对？
bug

难度 4/5 3-5 天新手友好度 48/100

NVIDIA/TensorRT-Edge-LLM#133 · 2 条评论 · 2026年7月20日创建

维护者通常 1 天内回复
Alpamayo Support
未关闭
- 哪里不对？
New Model Roadmap

难度 5/5 一周以上新手友好度 35/100

NVIDIA/TensorRT-Edge-LLM#130 · 3 条评论 · 2026年7月8日创建

维护者通常 1 天内回复
[v0.9.0] Compile error: incorrect kernel module type names in cuteDslNvfp4MoeSm110Runner
未关闭
- 哪里不对？
bug

难度 2/5 1-3 小时新手友好度 76/100

NVIDIA/TensorRT-Edge-LLM#125 · 1 条评论 · 2026年7月6日创建

维护者通常 1 天内回复
[Bug] Native Jetson Orin (sm_87) build: explicit -DCMAKE_CUDA_ARCHITECTURES ignored + CuTe DSL --wrap/cudart shim not propagated to static-lib consumers
未关闭
- 哪里不对？
bug

难度 4/5 3-5 天新手友好度 45/100

NVIDIA/TensorRT-Edge-LLM#117 · 2 条评论 · 1 个 reaction · 2026年6月28日创建

维护者通常 1 天内回复
stbir_resize in resizeImage maybe calc wrong result
未关闭
- 哪里不对？
bug

难度 2/5 1-3 小时新手友好度 68/100

NVIDIA/TensorRT-Edge-LLM#116 · 4 条评论 · 2026年6月26日创建

维护者通常 1 天内回复
Processing of frames that are already on device, in memory
未关闭
- 哪里不对？
New Feature Request

难度 5/5 一周以上新手友好度 35/100

NVIDIA/TensorRT-Edge-LLM#114 · 3 条评论 · 2026年6月21日创建

维护者通常 1 天内回复

NVIDIA/TensorRT-Edge-LLM

NVIDIA/TensorRT-Edge-LLM 对新手友好吗？

如何为 NVIDIA/TensorRT-Edge-LLM 做贡献

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

哪里不对？

把新 issue 发到你的邮箱