NVIDIA-NeMo/Export-Deploy

Ver en GitHub

A library for exporting models including NeMo and Hugging Face to optimized inference backends, and deploying them for efficient querying

Estrellas: 42
Forks: 18
Issues abiertos para principiantes: 0
Issues indexados: 28
Merge medio: 1 d 2 h
PR fusionados (30 d): 8

Lenguaje dominante: Python
Licencia: Apache-2.0
Último push a GitHub: 10/9/2026
Última indexación: 19/9/2026
Guía de contribución: Guía de contribución
Código de conducta: Sin código de conducta
Etiquetas para principiantes: Sin etiquetas para principiantes indexadas

Para principiantes Todo

Abierto Todos

[ALERT] Access to NVIDIA's Self-Hosted Runners is Expiring Abierto

nvidia-runners

Dificultad 2/5 1-3 horas Aptitud para principiantes 35/100

NVIDIA-NeMo/Export-Deploy#759 · Abierto el 30/8/2026
Update ED to use Dynamic Inference Engine from MCore Abierto

NVIDIA-NeMo/Export-Deploy#693 · 1 asignado · Abierto el 22/5/2026
Incorrect handling of reasoning traces for nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 in MBridge format Abierto

bug

NVIDIA-NeMo/Export-Deploy#682 · 1 comentario · 1 asignado · Abierto el 22/5/2026
Server returns empty answer when too many tokens requested Abierto

bug

NVIDIA-NeMo/Export-Deploy#652 · 1 asignado · Abierto el 13/4/2026
VLM endpoint fails when there are no images in the request Abierto

bug

NVIDIA-NeMo/Export-Deploy#632 · 1 asignado · Abierto el 12/3/2026
Ray Deployment of moonlight 16B (MBridge) fails Abierto

bug

NVIDIA-NeMo/Export-Deploy#616 · 1 asignado · Abierto el 23/2/2026
Stop word support for mcore inference Abierto

enhancement

NVIDIA-NeMo/Export-Deploy#564 · 1 comentario · 1 asignado · Abierto el 20/1/2026
Copy changes in PR 501 and 505 to scripts under new llm dir Abierto

bug

NVIDIA-NeMo/Export-Deploy#504 · 1 asignado · Abierto el 6/11/2025
Export and Deploy PTQed Megatron-Bridge Models Abierto

enhancement

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

NVIDIA-NeMo/Export-Deploy#457 · 1 comentario · Abierto el 17/10/2025
Create separate scripts for all the deployment paths Abierto

enhancement

NVIDIA-NeMo/Export-Deploy#438 · 1 asignado · Abierto el 6/10/2025
Check params like use_greedy and repetition_penalty for NemoQueryLLMPyTorch class Abierto

bug

NVIDIA-NeMo/Export-Deploy#434 · 1 asignado · Abierto el 4/10/2025
Stopword support for in-framework deployment Abierto

enhancement

Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

NVIDIA-NeMo/Export-Deploy#430 · 2 comentarios · Abierto el 1/10/2025
Go over the docs and update the support matrices Abierto

documentation

NVIDIA-NeMo/Export-Deploy#425 · 1 asignado · Abierto el 1/10/2025
Move operations like chat templates to the server side for VLM deployment Abierto

enhancement

NVIDIA-NeMo/Export-Deploy#423 · 1 comentario · 1 asignado · Abierto el 1/10/2025
Introduce consistent and intuitive parameter naming for NeMo TensorRTLLM class vs TensorRT-LLM library, and across all export and deploy options Abierto

enhancement

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

NVIDIA-NeMo/Export-Deploy#412 · Abierto el 24/9/2025
Refactor tokenizer handling in nemo.export module Abierto

enhancement

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

NVIDIA-NeMo/Export-Deploy#411 · Abierto el 24/9/2025
Integrate exporting & deploying modelopt (quantized) unified checkpoints Abierto

enhancement

Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

NVIDIA-NeMo/Export-Deploy#410 · 1 comentario · Abierto el 24/9/2025
Support exporting fp4 models Abierto

enhancement

NVIDIA-NeMo/Export-Deploy#409 · 1 asignado · Abierto el 24/9/2025
Add multi batch size cuda graphs support for M-Bridge in-framework deployment. Abierto

enhancement

Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100

NVIDIA-NeMo/Export-Deploy#408 · Abierto el 24/9/2025
Add GenAI-Perf Benchmark tool Abierto

enhancement

Dificultad 5/5 Más de una semana Aptitud para principiantes 30/100

NVIDIA-NeMo/Export-Deploy#407 · Abierto el 24/9/2025
Support quantized m-bridge checkpoint for vLLM export Abierto

enhancement

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

NVIDIA-NeMo/Export-Deploy#406 · Abierto el 24/9/2025
Find the fastest inference options among vLLM, TensorRT-LLM, and M-Bridge Abierto

enhancement

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

NVIDIA-NeMo/Export-Deploy#405 · 1 comentario · Abierto el 24/9/2025
Quantize M-Bridge and HF checkpoints during In-Framework Deployment Abierto

enhancement

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

NVIDIA-NeMo/Export-Deploy#404 · Abierto el 24/9/2025
Export and Deploy Tutorials Abierto

enhancement

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

NVIDIA-NeMo/Export-Deploy#402 · Abierto el 24/9/2025
VLM in-framework support deployment using M-Bridge checkpoint Abierto

enhancement

NVIDIA-NeMo/Export-Deploy#401 · 1 asignado · Abierto el 24/9/2025
vLLM export and quantization support for NeMo RL Abierto

enhancement

NVIDIA-NeMo/Export-Deploy#399 · 1 asignado · Abierto el 24/9/2025
Support M-Bridge checkpoints for TensorRT-LLM Export Abierto

enhancement

NVIDIA-NeMo/Export-Deploy#398 · 1 comentario · 1 asignado · Abierto el 24/9/2025
NeMo-Run support for Ray based multi-node deployment Abierto

enhancement

NVIDIA-NeMo/Export-Deploy#397 · 1 asignado · Abierto el 24/9/2025

NVIDIA-NeMo/Export-Deploy

Recibe los nuevos issues en tu correo