NVIDIA-NeMo/RL

Scalable toolkit for efficient model reinforcement

Estrellas: 2k
Forks: 564
Issues abiertos para principiantes: 2
Issues indexados: 546
Merge medio: 3 d 7 h
PR fusionados (30 d): 152

Lenguaje dominante: Python
Licencia: Apache-2.0
Último push a GitHub: 19/9/2026
Última indexación: 17/9/2026
Guía de contribución: Guía de contribución
Código de conducta: Sin código de conducta
Etiquetas para principiantes: good first issue

Para principiantes Todo

Abierto Todos

Support DeepSeek V4.1 Flash Abierto

enhancement Feature

NVIDIA-NeMo/RL#4246 · 1 asignado · Abierto el 23/9/2026
Nemotron-3-Nano-30B-A3B: train/generation logprob divergence persists on vLLM 0.20 Abierto

accuracy bug Documentation

Dificultad 5/5 Más de una semana Aptitud para principiantes 30/100

NVIDIA-NeMo/RL#4243 · Abierto el 22/9/2026
Normalize the in-loss survivor denominator once instead of rescaling gradients by G/K Abierto

accuracy enhancement

NVIDIA-NeMo/RL#4242 · 1 asignado · Abierto el 22/9/2026
Track OPD loss refactoring and full-vocabulary configuration documentation Abierto

Documentation

NVIDIA-NeMo/RL#4241 · 1 asignado · Abierto el 22/9/2026
DTensor v2 fails to load Nemotron-H checkpoints (backbone.embedding vs backbone.embeddings) Abierto

bug

NVIDIA-NeMo/RL#4211 · 3 comentarios · 1 asignado · Abierto el 19/9/2026
Evaluation-path processors render a duplicated default system block (two chat-template calls) Abierto

bug community-request

NVIDIA-NeMo/RL#4185 · 1 asignado · Abierto el 17/9/2026
Support generation shard restarts with Mooncake data-plane checkpointing Abierto

Feature

Dificultad 4/5 3-5 días Aptitud para principiantes 45/100

NVIDIA-NeMo/RL#4178 · Abierto el 17/9/2026
[Feature] Provide a validated Megatron GRPO recipe for the original Nemotron 3.5 Super VL checkpoint Abierto

Feature

NVIDIA-NeMo/RL#4175 · 1 asignado · Abierto el 17/9/2026
[Bug] select_teacher can pick different teachers after changing only the microbatch size Abierto

bug community-request waiting-on-maintainers

NVIDIA-NeMo/RL#4173 · 1 asignado · Abierto el 17/9/2026
[Bug] Dynamic CE–KD scaling changes when the same training batch is split into microbatches Abierto

accuracy bug community-request waiting-on-maintainers

NVIDIA-NeMo/RL#4172 · 1 asignado · Abierto el 17/9/2026
[Feature] Support R3 router replay with FSDP2/AutoModel and NeMo Gym Abierto

Documentation Feature

NVIDIA-NeMo/RL#4170 · 1 asignado · Abierto el 17/9/2026
[Feature] Add tiled output projection and log-probability backward for FSDP2/AutoModel GRPO Abierto

Feature Memory

Dificultad 5/5 Más de una semana Aptitud para principiantes 38/100

NVIDIA-NeMo/RL#4169 · Abierto el 17/9/2026
[Enhancement] Validate 32K Nemotron FSDP2 dynamic batching beyond the first update Abierto

Feature Memory

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

NVIDIA-NeMo/RL#4168 · Abierto el 17/9/2026
[Bug] Packed Nemotron sequences attend across trajectory boundaries in FSDP2/AutoModel Abierto

bug

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

NVIDIA-NeMo/RL#4167 · 1 comentario · Abierto el 17/9/2026
[Feature] Support activation CPU offload with FSDP2/AutoModel Abierto

Feature Memory

NVIDIA-NeMo/RL#4166 · 1 asignado · Abierto el 17/9/2026
[Enhancement] Add a lightweight native Gym Bash recipe for Harbor SimpleQA training Abierto

Feature

NVIDIA-NeMo/RL#4165 · 1 asignado · Abierto el 17/9/2026
test: add Megatron-backend variant of Gym token-capture recovery functional test Abierto

Feature

NVIDIA-NeMo/RL#4163 · 1 asignado · Abierto el 17/9/2026
Make vLLM patches fail loudly and detect drift on a vLLM bump Abierto

Automation Feature

NVIDIA-NeMo/RL#4155 · 1 asignado · Abierto el 16/9/2026
glm5.3 flash RL validation and recipe Abierto

Documentation Feature

NVIDIA-NeMo/RL#4150 · 1 asignado · Abierto el 16/9/2026
AutoModel/Nemotron Omni truncates excess image features when rollout placeholders disagree Abierto

bug Documentation

NVIDIA-NeMo/RL#4142 · 1 asignado · Abierto el 15/9/2026
Make MBridge submodule bump conflict-free (flashinfer-jit-cache, nvidia-cutlass-dsl pins) Abierto

Automation bug

NVIDIA-NeMo/RL#4141 · 1 asignado · Abierto el 15/9/2026
Flaky test: L1_Functional_Tests_Megatron_4 fails with no error, runner appears to die mid-test (14x in 11 days) Abierto

bug

NVIDIA-NeMo/RL#4138 · 1 comentario · 1 asignado · Abierto el 15/9/2026
[feat] nccl_reshard refit: support generation-side pipeline parallelism (vLLM and Megatron generation) Abierto

community-request Feature Speed waiting-on-maintainers

NVIDIA-NeMo/RL#4104 · 1 reacción · 1 asignado · Abierto el 11/9/2026
docs: Improve NeMo Gym discoverability across NeMo RL entry points Abierto

Documentation Feature

NVIDIA-NeMo/RL#4071 · 1 comentario · 1 asignado · Abierto el 10/9/2026
fix(grpo): keep masked Gym failures out of prompt-group statistics Abierto

accuracy bug

NVIDIA-NeMo/RL#4061 · 1 comentario · 1 asignado · Abierto el 9/9/2026
TQ: GDR PUTs stage CPU-resident tensors through the GPU buffer Abierto

bug Speed

NVIDIA-NeMo/RL#4051 · 1 asignado · Abierto el 8/9/2026
TQ: reconsider the `mooncake_cpu` backend name now that GDR exists Abierto

enhancement Feature

NVIDIA-NeMo/RL#4049 · 1 asignado · Abierto el 8/9/2026
[RFC] Companion vLLM-rollout workstream to #3743: zero train-generation mismatch via upstream batch-invariant kernels Abierto

accuracy Feature

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

NVIDIA-NeMo/RL#4039 · 2 comentarios · Abierto el 7/9/2026
main: L0_Unit_Tests_Megatron_Policy_1 fails, blocking functional tests on all PRs Abierto

bug

NVIDIA-NeMo/RL#4035 · 1 asignado · Abierto el 7/9/2026
Worker-class overrides are split across three mechanisms instead of one config field Abierto

Feature

NVIDIA-NeMo/RL#4032 · 1 asignado · Abierto el 6/9/2026
DeepEP 17cf pin times out in multi-node normal dispatch with NVSHMEM 3.7.2 Abierto

bug Speed

NVIDIA-NeMo/RL#4027 · 1 asignado · Abierto el 6/9/2026
Split the Megatron generation refit mixin out of megatron_worker.py Abierto

Feature

Dificultad 2/5 Medio día Aptitud para principiantes 78/100

NVIDIA-NeMo/RL#4016 · Abierto el 5/9/2026
Token capture finalizer: batch the group staging fetch, and give the pool a placement policy + a splittable timer Abierto

Feature Speed

NVIDIA-NeMo/RL#4010 · 1 asignado · Abierto el 5/9/2026
Refit method families on GenerationInterface have grown per-transport instead of behind one contract Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

NVIDIA-NeMo/RL#4006 · Abierto el 4/9/2026
Flaky test_value_worker_train_decreases_loss: tiny Qwen2 value head trains with HF's default 0.1 dropout Abierto

accuracy bug community-request waiting-on-maintainers

NVIDIA-NeMo/RL#3999 · 1 asignado · Abierto el 4/9/2026
Generation backends disagree on how to report "no OpenAI server": [None] vs [] Abierto

bug Feature

Dificultad 3/5 1-2 días Aptitud para principiantes 76/100

NVIDIA-NeMo/RL#3977 · Abierto el 3/9/2026
Colocated training state offload is inefficient Abierto

bug Speed

Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

NVIDIA-NeMo/RL#3976 · 3 comentarios · Abierto el 3/9/2026
fix(grpo): exclude filtered samples from legacy advantage metrics Abierto

accuracy bug

NVIDIA-NeMo/RL#3957 · 1 asignado · Abierto el 2/9/2026
[ALERT] Access to NVIDIA's Self-Hosted Runners is Expiring Abierto

Automation nvidia-runners

Dificultad 2/5 1-3 horas Aptitud para principiantes 25/100

NVIDIA-NeMo/RL#3952 · Abierto el 1/9/2026
nightly test fail after mbridge bump in #3906 Abierto

Automation bug

NVIDIA-NeMo/RL#3946 · 2 reacciones · 1 asignado · Abierto el 1/9/2026
Disallow truncate_history_thinking=true for NeMo-RL rollouts Abierto

NVIDIA-NeMo/RL#3931 · 1 asignado · Abierto el 31/8/2026
Split path: support MTP + SEQUENCE_LEVEL loss with mtp_detach_heads=False Abierto

accuracy bug

NVIDIA-NeMo/RL#3889 · 1 asignado · Abierto el 27/8/2026
Split path: MoE auxiliary loss inherits the main loss denominator instead of 1/global_valid_toks Abierto

accuracy bug

NVIDIA-NeMo/RL#3888 · 1 asignado · Abierto el 27/8/2026
Can you add support for GRPO training with Qwen/Qwen3.8-Flash-Next? Abierto

community-request enhancement Feature waiting-on-customer x-intuit

NVIDIA-NeMo/RL#3866 · 1 comentario · 3 asignados · Abierto el 27/8/2026
Multi-turn rollout: a max_tokens-truncated response ends the trajectory on the async path but not the sync one Abierto

bug community-request waiting-on-maintainers

NVIDIA-NeMo/RL#3851 · 1 asignado · Abierto el 26/8/2026
async PPO: startup barrier still requires a complete lookahead, serializing every resume Abierto

Feature

NVIDIA-NeMo/RL#3828 · 1 asignado · Abierto el 25/8/2026
Move MOPD teacher scoring out of TQReplayBuffer.commit() into its own stage Abierto

Feature

NVIDIA-NeMo/RL#3815 · 1 asignado · Abierto el 25/8/2026
test: prefetch config validation cannot cover LocalVLLMModelConfig in CI Abierto

Automation bug

NVIDIA-NeMo/RL#3806 · 1 asignado · Abierto el 24/8/2026
Worker startup fails when the repo path contains a space (unquoted git_root re-parsed by shlex.split) Abierto

Automation bug community-request

NVIDIA-NeMo/RL#3800 · 1 asignado · Abierto el 24/8/2026
PPO default yaml OOM Abierto

bug Memory

NVIDIA-NeMo/RL#3793 · 1 comentario · 2 asignados · Abierto el 24/8/2026

Mostrando los 100 más recientes

Esta página solo lista lo indexado más recientemente. El filtro avanzado tiene el inventario completo, acotado por lenguaje, dificultad y duración.

Abrir el filtro avanzado

NVIDIA-NeMo/RL

Mostrando los 100 más recientes

Recibe los nuevos issues en tu correo