NVIDIA/TensorRT-Edge-LLM

GitHub で見る

High-performance, light-weight C++ LLM and VLM Inference Software for Physical AI

スター: 563
フォーク: 135
オープンの初心者向け issue: 8
索引済み issue: 71
平均マージ: 14時間 13分
マージ済み PR（30日）: 1

主要言語: Python
ライセンス: Apache-2.0
最終 GitHub push: 2026年9月3日
最新の索引: 2026年9月19日
コントリビューションガイド: コントリビューションガイド
行動規範: 行動規範
初心者向けラベル: 初心者向けラベルは索引されていません

初心者向けすべて

オープンすべて

Decoding cannot be constrained: no per-step hook in the sampling path, and `logit_bias` cannot substitute for one オープン

難易度 5/5 1週間以上初心者へのやさしさ 38/100

NVIDIA/TensorRT-Edge-LLM#218 · 2026年9月17日に作成
Direct export/build fails for Qwen3 VL FP8 fine-grained 2D block-FP8 checkpoints オープン

bug

難易度 4/5 3〜5日初心者へのやさしさ 55/100

NVIDIA/TensorRT-Edge-LLM#217 · コメント 2 件 · 2026年9月17日に作成
tensorrt-edgellm-build --dense nvfp4-qdq SIGSEGVs in a libnvinfer compiler worker thread on Jetson Thor (CC 11.0) for Cosmos-Reason2-2B; --dense fp16 builds fine from the same NVFP4 checkpoint オープン

bug

難易度 4/5 3〜5日初心者へのやさしさ 48/100

NVIDIA/TensorRT-Edge-LLM#216 · コメント 4 件 · 2026年9月17日に作成
llm_inference ignores temperature/top_p/top_k from the input JSON its own help tells you to set them in オープン

難易度 2/5 1〜3時間初心者へのやさしさ 84/100

NVIDIA/TensorRT-Edge-LLM#211 · コメント 2 件 · 2026年9月12日に作成
Int4GroupwiseGemmPluginV2 fails silently when ENABLE_CUTE_DSL omits int4_fp16_gemm: "Failed to enqueue status -1" with no diagnostic オープン

難易度 2/5 1〜3時間初心者へのやさしさ 35/100

NVIDIA/TensorRT-Edge-LLM#210 · コメント 1 件 · 2026年9月11日に作成
ONNX-less direct builder cannot resolve decoder tensors for multimodal cosmos3_edge, and renaming them yields a numerically wrong engine オープン

難易度 4/5 3〜5日初心者へのやさしさ 35/100

NVIDIA/TensorRT-Edge-LLM#208 · 2026年9月11日に作成
SM103 (B300 / Blackwell Ultra) is missing from five SM allowlists across the build and the attention path オープン

難易度 4/5 3〜5日初心者へのやさしさ 58/100

NVIDIA/TensorRT-Edge-LLM#206 · 2026年9月11日に作成
XQA NVRTC JIT passes no CUDA include path: cuda_fp16.h cannot find vector_types.h on x86 CUDA 12.x オープン

難易度 3/5 1〜2日初心者へのやさしさ 68/100

NVIDIA/TensorRT-Edge-LLM#204 · 2026年9月11日に作成
x86 CuteDSL cubins missing in the repo オープン

bug

難易度 3/5 1〜2日初心者へのやさしさ 55/100

NVIDIA/TensorRT-Edge-LLM#203 · コメント 1 件 · 2026年9月10日に作成
feat: Add base64 image support to llm_inference オープン

難易度 3/5 1〜2日初心者へのやさしさ 67/100

NVIDIA/TensorRT-Edge-LLM#202 · 2026年9月10日に作成
Experimental OpenAI-compatible server fails to start with: ModuleNotFoundError: No module named 'tensorrt' オープン

難易度 4/5 3〜5日初心者へのやさしさ 55/100

NVIDIA/TensorRT-Edge-LLM#201 · コメント 1 件 · 2026年9月9日に作成
Qwen3-TTS CodePredictor (MTP) crashes with "No available kernel for the GQA" on Jetson AGX Orin オープン

難易度 4/5 3〜5日初心者へのやさしさ 48/100

NVIDIA/TensorRT-Edge-LLM#198 · 2026年9月4日に作成
Version mismatch while running engine files オープン

難易度 4/5 3〜5日初心者へのやさしさ 35/100

NVIDIA/TensorRT-Edge-LLM#194 · コメント 5 件 · 2026年8月25日に作成
Qwen3.8-27B NVFP4 base engine build fails: Myelin removeEmptyProducersFromSubgraph not implemented for PLUGIN_V3 (Jetson Thor, TRT 10.13.3.9 and 10.14.1.48) オープン

難易度 4/5 3〜5日初心者へのやさしさ 42/100

NVIDIA/TensorRT-Edge-LLM#192 · コメント 4 件 · 2026年8月24日に作成
feat: Add base64 image support to the OpenAI-compatible server オープン

External PR Request

難易度 3/5 1〜2日初心者へのやさしさ 35/100

NVIDIA/TensorRT-Edge-LLM#191 · コメント 1 件 · 2026年8月24日に作成
feat: add InternVLA-N1-DualVLN vision-language navigation support オープン

New Model

難易度 5/5 1週間以上初心者へのやさしさ 25/100

NVIDIA/TensorRT-Edge-LLM#190 · 2026年8月24日に作成
feat: quantized runtime input sidecars for Gemma 4 E-models オープン

External PR Request

難易度 5/5 1週間以上初心者へのやさしさ 35/100

NVIDIA/TensorRT-Edge-LLM#188 · コメント 1 件 · 2026年8月22日に作成
[Jetson AGX Orin][v0.10.0] Native build may generate XQA kernels for SM80/86/89 instead of SM87 オープン

bug

難易度 3/5 1〜2日初心者へのやさしさ 68/100

NVIDIA/TensorRT-Edge-LLM#187 · コメント 1 件 · 2026年8月21日に作成
Support multimodal calibration when quantizing only the LLM backbone オープン

難易度 4/5 3〜5日初心者へのやさしさ 54/100

NVIDIA/TensorRT-Edge-LLM#186 · リアクション 2 件 · 2026年8月20日に作成
The discrepancy between the cosine similarity of the intermediate vectors in the VIT engine of Qwen3-8B-VL and the PyTorch-based visual part leads to a decrease in accuracy. オープン

bug

難易度 5/5 1週間以上初心者へのやさしさ 35/100

NVIDIA/TensorRT-Edge-LLM#185 · 2026年8月19日に作成
fix: Jetson Orin + JetPack 6.2 (CUDA 12.6, listed as Compatible platform) fails to build with ENABLE_CUTE_DSL=ALL — missing cudaLibrary_t compat shim in cuteDslF16MoeRunner.h オープン

bug

難易度 2/5 1〜3時間初心者へのやさしさ 78/100

NVIDIA/TensorRT-Edge-LLM#183 · コメント 4 件 · リアクション 1 件 · 2026年8月17日に作成
handle_request() occasionally hangs forever (not a GPU fault) -- confirmed live with py-spy + gdb, no Xid errors オープン

難易度 5/5 1週間以上初心者へのやさしさ 28/100

NVIDIA/TensorRT-Edge-LLM#181 · コメント 1 件 · 2026年8月16日に作成
Idle scheduler loop retains last request's SamplingParams and re-validates it continuously (~30Hz), driving CPU + memory growth with zero active requests オープン

難易度 4/5 3〜5日初心者へのやさしさ 55/100

NVIDIA/TensorRT-Edge-LLM#180 · コメント 1 件 · 2026年8月16日に作成
[Bug][Jetson AGX Orin] TensorRT slot.cpp decode assertion on every request after rebuilding at maxBatchSize=1 (fc_h_fusion workaround from #151) オープン

難易度 5/5 1週間以上初心者へのやさしさ 28/100

NVIDIA/TensorRT-Edge-LLM#179 · 2026年8月15日に作成
[Bug] v0.10.0: prebuilt sm_87 (Jetson Orin) CuteDSL artifact missing fmha_v2_d* kernel modules, breaks all LLM engine builds オープン

難易度 4/5 3〜5日初心者へのやさしさ 65/100

NVIDIA/TensorRT-Edge-LLM#178 · コメント 3 件 · 2026年8月15日に作成
[BUG] Qwen3-TTS CP-FP8 calibration failed, it mixes text and codec embedding domains オープン

bug

難易度 5/5 1週間以上初心者へのやさしさ 38/100

NVIDIA/TensorRT-Edge-LLM#175 · コメント 1 件 · 2026年8月13日に作成
CuTe DSL SSD head_dim=80 for Nemotron Mamba prefill on SM80+ (Blackwell D64 slab) オープン

難易度 4/5 3〜5日初心者へのやさしさ 48/100

NVIDIA/TensorRT-Edge-LLM#174 · コメント 4 件 · 2026年8月13日に作成
[BUG] ONNX Export fails for Qwen3.5 MTP draft model with 4-bit quantized checkpoint due to unpacked mtp.fc.weight shape mismatch オープン

bug

難易度 3/5 1〜2日初心者へのやさしさ 55/100

NVIDIA/TensorRT-Edge-LLM#168 · コメント 2 件 · 2026年8月10日に作成
Exporting Alpamayo-R1-10B fails with AssertionError オープン

bug

難易度 3/5 1〜2日初心者へのやさしさ 55/100

NVIDIA/TensorRT-Edge-LLM#166 · コメント 1 件 · 2026年8月6日に作成
position_embeddings need check valid オープン

bug

難易度 2/5 1〜3時間初心者へのやさしさ 78/100

NVIDIA/TensorRT-Edge-LLM#165 · コメント 2 件 · 2026年8月6日に作成
Bug: Garbage / repetitive output on Jetson AGX Thor (SM110) across all quantization formats using CuTe DSL FMHA オープン

bug

難易度 5/5 1週間以上初心者へのやさしさ 32/100

NVIDIA/TensorRT-Edge-LLM#164 · コメント 2 件 · 2026年8月5日に作成
Exporting Qwen2.5-VL AWQ checkpoints fails with KeyError: 'num_heads' オープン

bug

難易度 3/5 1〜2日初心者へのやさしさ 58/100

NVIDIA/TensorRT-Edge-LLM#163 · コメント 1 件 · 2026年8月5日に作成
[Bug] gen_cubins.py: XQA cubin generation writes to the module-level default path instead of --output_dir when workers do not inherit __main__ state オープン

難易度 3/5 1〜2日初心者へのやさしさ 70/100

NVIDIA/TensorRT-Edge-LLM#161 · コメント 3 件 · 2026年8月4日に作成
Qwen3.5-35B-A3B GPTQ INT4 ONNX export ERROR using tensorrt edge llm 0.9.0 オープン

bug

難易度 4/5 3〜5日初心者へのやさしさ 48/100

NVIDIA/TensorRT-Edge-LLM#158 · コメント 4 件 · 2026年7月31日に作成
CUDA_ERROR_ILLEGAL_ADDRESS in XQA on Jetson Orin Nx for Gemma4 オープン

bug

難易度 4/5 3〜5日初心者へのやさしさ 48/100

NVIDIA/TensorRT-Edge-LLM#153 · コメント 1 件 · 2026年7月29日に作成
[Regression][Jetson AGX Thor] Layer-0 V tensor corruption in v0.9.1; v0.4.0 works correctly on the same JetPack 7.1 system オープン

難易度 5/5 1週間以上初心者へのやさしさ 35/100

NVIDIA/TensorRT-Edge-LLM#151 · コメント 6 件 · 2026年7月28日に作成
LLM Quantization Cannot Load `text_dataset` (Default and Custom Values Fail) オープン

bug

難易度 3/5 1〜2日初心者へのやさしさ 65/100

NVIDIA/TensorRT-Edge-LLM#150 · コメント 2 件 · 2026年7月27日に作成
[Bug][Export]: checkpoint loader can replace declared FP16/BF16 parameters with FP32 tensors オープン

難易度 2/5 1〜3時間初心者へのやさしさ 72/100

NVIDIA/TensorRT-Edge-LLM#144 · コメント 1 件 · 2026年7月25日に作成
[Bug][Runtime]: context FMHA loads unrelated mask-type cubins and can fail with CUDA_ERROR_INVALID_IMAGE オープン

難易度 4/5 3〜5日初心者へのやさしさ 55/100

NVIDIA/TensorRT-Edge-LLM#143 · 2026年7月25日に作成
visual_quantization: invalid choice: 'mxfp8' オープン

bug

難易度 5/5 1週間以上初心者へのやさしさ 35/100

NVIDIA/TensorRT-Edge-LLM#139 · コメント 1 件 · 2026年7月25日に作成
Support for Quantized Alpamayo Export オープン

難易度 5/5 1週間以上初心者へのやさしさ 30/100

NVIDIA/TensorRT-Edge-LLM#134 · コメント 5 件 · 2026年7月21日に作成
llm_bench profiling オープン

bug

難易度 4/5 3〜5日初心者へのやさしさ 48/100

NVIDIA/TensorRT-Edge-LLM#133 · コメント 2 件 · 2026年7月20日に作成
Alpamayo Support オープン

New Model Roadmap

難易度 5/5 1週間以上初心者へのやさしさ 35/100

NVIDIA/TensorRT-Edge-LLM#130 · コメント 3 件 · 2026年7月8日に作成
[v0.9.0] Compile error: incorrect kernel module type names in cuteDslNvfp4MoeSm110Runner オープン

bug

難易度 2/5 1〜3時間初心者へのやさしさ 76/100

NVIDIA/TensorRT-Edge-LLM#125 · コメント 1 件 · 2026年7月6日に作成
[Bug] Native Jetson Orin (sm_87) build: explicit -DCMAKE_CUDA_ARCHITECTURES ignored + CuTe DSL --wrap/cudart shim not propagated to static-lib consumers オープン

bug

難易度 4/5 3〜5日初心者へのやさしさ 45/100

NVIDIA/TensorRT-Edge-LLM#117 · コメント 2 件 · リアクション 1 件 · 2026年6月28日に作成
stbir_resize in resizeImage maybe calc wrong result オープン

bug

難易度 2/5 1〜3時間初心者へのやさしさ 68/100

NVIDIA/TensorRT-Edge-LLM#116 · コメント 4 件 · 2026年6月26日に作成
Processing of frames that are already on device, in memory オープン

New Feature Request

難易度 5/5 1週間以上初心者へのやさしさ 35/100

NVIDIA/TensorRT-Edge-LLM#114 · コメント 3 件 · 2026年6月21日に作成
enable_thinking=True produces reasoning text without literal <think>...</think> tags — _ThinkingStateMachine cannot separate it from the final answer オープン

難易度 4/5 3〜5日初心者へのやさしさ 45/100

NVIDIA/TensorRT-Edge-LLM#113 · コメント 2 件 · 2026年6月19日に作成
CustomVoice language conditioning bug confirmed in v0.8.0 — working fix applied (ref #87 / PR #98) オープン

難易度 4/5 3〜5日初心者へのやさしさ 35/100

NVIDIA/TensorRT-Edge-LLM#109 · コメント 2 件 · 2026年6月17日に作成
Missing model_config argument in VLM visual ONNX export オープン

難易度 2/5 1〜3時間初心者へのやさしさ 82/100

NVIDIA/TensorRT-Edge-LLM#107 · コメント 2 件 · 2026年6月12日に作成

NVIDIA/TensorRT-Edge-LLM

新しい issue をメールで受け取る