NVIDIA-NeMo/Export-Deploy

Vedi su GitHub

A library for exporting models including NeMo and Hugging Face to optimized inference backends, and deploying them for efficient querying

Stelle: 42
Fork: 18
Issue aperte per principianti: 0
Issue indicizzate: 28
Merge medio: 1g 2h
PR unite (30g): 8

Lingua principale: Python
Licenza: Apache-2.0
Ultimo push su GitHub: 10/9/2026
Ultima indicizzazione: 19/9/2026
Guida per i contributori: Guida per i contributori
Codice di condotta: Nessun codice di condotta
Label per principianti: Nessuna label per principianti indicizzata

Adatte ai principianti Tutto

Aperta Tutte

[ALERT] Access to NVIDIA's Self-Hosted Runners is Expiring Aperta

nvidia-runners

Difficoltà 2/5 1-3 ore Idoneità per principianti 35/100

NVIDIA-NeMo/Export-Deploy#759 · Aperta il 30/8/2026
Update ED to use Dynamic Inference Engine from MCore Aperta

NVIDIA-NeMo/Export-Deploy#693 · 1 assegnatario · Aperta il 22/5/2026
Incorrect handling of reasoning traces for nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 in MBridge format Aperta

bug

NVIDIA-NeMo/Export-Deploy#682 · 1 commento · 1 assegnatario · Aperta il 22/5/2026
Server returns empty answer when too many tokens requested Aperta

bug

NVIDIA-NeMo/Export-Deploy#652 · 1 assegnatario · Aperta il 13/4/2026
VLM endpoint fails when there are no images in the request Aperta

bug

NVIDIA-NeMo/Export-Deploy#632 · 1 assegnatario · Aperta il 12/3/2026
Ray Deployment of moonlight 16B (MBridge) fails Aperta

bug

NVIDIA-NeMo/Export-Deploy#616 · 1 assegnatario · Aperta il 23/2/2026
Stop word support for mcore inference Aperta

enhancement

NVIDIA-NeMo/Export-Deploy#564 · 1 commento · 1 assegnatario · Aperta il 20/1/2026
Copy changes in PR 501 and 505 to scripts under new llm dir Aperta

bug

NVIDIA-NeMo/Export-Deploy#504 · 1 assegnatario · Aperta il 6/11/2025
Export and Deploy PTQed Megatron-Bridge Models Aperta

enhancement

Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100

NVIDIA-NeMo/Export-Deploy#457 · 1 commento · Aperta il 17/10/2025
Create separate scripts for all the deployment paths Aperta

enhancement

NVIDIA-NeMo/Export-Deploy#438 · 1 assegnatario · Aperta il 6/10/2025
Check params like use_greedy and repetition_penalty for NemoQueryLLMPyTorch class Aperta

bug

NVIDIA-NeMo/Export-Deploy#434 · 1 assegnatario · Aperta il 4/10/2025
Stopword support for in-framework deployment Aperta

enhancement

Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

NVIDIA-NeMo/Export-Deploy#430 · 2 commenti · Aperta il 1/10/2025
Go over the docs and update the support matrices Aperta

documentation

NVIDIA-NeMo/Export-Deploy#425 · 1 assegnatario · Aperta il 1/10/2025
Move operations like chat templates to the server side for VLM deployment Aperta

enhancement

NVIDIA-NeMo/Export-Deploy#423 · 1 commento · 1 assegnatario · Aperta il 1/10/2025
Introduce consistent and intuitive parameter naming for NeMo TensorRTLLM class vs TensorRT-LLM library, and across all export and deploy options Aperta

enhancement

Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100

NVIDIA-NeMo/Export-Deploy#412 · Aperta il 24/9/2025
Refactor tokenizer handling in nemo.export module Aperta

enhancement

Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100

NVIDIA-NeMo/Export-Deploy#411 · Aperta il 24/9/2025
Integrate exporting & deploying modelopt (quantized) unified checkpoints Aperta

enhancement

Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

NVIDIA-NeMo/Export-Deploy#410 · 1 commento · Aperta il 24/9/2025
Support exporting fp4 models Aperta

enhancement

NVIDIA-NeMo/Export-Deploy#409 · 1 assegnatario · Aperta il 24/9/2025
Add multi batch size cuda graphs support for M-Bridge in-framework deployment. Aperta

enhancement

Difficoltà 5/5 Più di una settimana Idoneità per principianti 20/100

NVIDIA-NeMo/Export-Deploy#408 · Aperta il 24/9/2025
Add GenAI-Perf Benchmark tool Aperta

enhancement

Difficoltà 5/5 Più di una settimana Idoneità per principianti 30/100

NVIDIA-NeMo/Export-Deploy#407 · Aperta il 24/9/2025
Support quantized m-bridge checkpoint for vLLM export Aperta

enhancement

Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100

NVIDIA-NeMo/Export-Deploy#406 · Aperta il 24/9/2025
Find the fastest inference options among vLLM, TensorRT-LLM, and M-Bridge Aperta

enhancement

Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100

NVIDIA-NeMo/Export-Deploy#405 · 1 commento · Aperta il 24/9/2025
Quantize M-Bridge and HF checkpoints during In-Framework Deployment Aperta

enhancement

Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100

NVIDIA-NeMo/Export-Deploy#404 · Aperta il 24/9/2025
Export and Deploy Tutorials Aperta

enhancement

Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100

NVIDIA-NeMo/Export-Deploy#402 · Aperta il 24/9/2025
VLM in-framework support deployment using M-Bridge checkpoint Aperta

enhancement

NVIDIA-NeMo/Export-Deploy#401 · 1 assegnatario · Aperta il 24/9/2025
vLLM export and quantization support for NeMo RL Aperta

enhancement

NVIDIA-NeMo/Export-Deploy#399 · 1 assegnatario · Aperta il 24/9/2025
Support M-Bridge checkpoints for TensorRT-LLM Export Aperta

enhancement

NVIDIA-NeMo/Export-Deploy#398 · 1 commento · 1 assegnatario · Aperta il 24/9/2025
NeMo-Run support for Ray based multi-node deployment Aperta

enhancement

NVIDIA-NeMo/Export-Deploy#397 · 1 assegnatario · Aperta il 24/9/2025

NVIDIA-NeMo/Export-Deploy

Ricevi le nuove issue nella tua casella