NVIDIA-NeMo/RL

在 GitHub 查看

Scalable toolkit for efficient model reinforcement

星标: 2k
派生: 564
开放的新手 issue: 2
已索引 issue: 546
平均合并: 3 天 7 小时
30 天内合并 PR: 152

主要语言: Python
许可证: Apache-2.0
最近 GitHub push: 2026年9月19日
最近索引: 2026年9月17日
贡献指南: 贡献指南
行为准则: 没有行为准则
新手标签: good first issue

适合新手全部

未关闭全部

Support DeepSeek V4.1 Flash 未关闭

enhancement Feature

NVIDIA-NeMo/RL#4246 · 已指派 1 人 · 2026年9月23日创建
Nemotron-3-Nano-30B-A3B: train/generation logprob divergence persists on vLLM 0.20 未关闭

accuracy bug Documentation

难度 5/5 一周以上新手友好度 30/100

NVIDIA-NeMo/RL#4243 · 2026年9月22日创建
Normalize the in-loss survivor denominator once instead of rescaling gradients by G/K 未关闭

accuracy enhancement

NVIDIA-NeMo/RL#4242 · 已指派 1 人 · 2026年9月22日创建
Track OPD loss refactoring and full-vocabulary configuration documentation 未关闭

Documentation

NVIDIA-NeMo/RL#4241 · 已指派 1 人 · 2026年9月22日创建
DTensor v2 fails to load Nemotron-H checkpoints (backbone.embedding vs backbone.embeddings) 未关闭

bug

NVIDIA-NeMo/RL#4211 · 2 条评论 · 已指派 1 人 · 2026年9月19日创建
Evaluation-path processors render a duplicated default system block (two chat-template calls) 未关闭

bug community-request

NVIDIA-NeMo/RL#4185 · 已指派 1 人 · 2026年9月17日创建
Support generation shard restarts with Mooncake data-plane checkpointing 未关闭

Feature

难度 4/5 3-5 天新手友好度 45/100

NVIDIA-NeMo/RL#4178 · 2026年9月17日创建
[Feature] Provide a validated Megatron GRPO recipe for the original Nemotron 3.5 Super VL checkpoint 未关闭

Feature

NVIDIA-NeMo/RL#4175 · 已指派 1 人 · 2026年9月17日创建
[Bug] select_teacher can pick different teachers after changing only the microbatch size 未关闭

bug community-request waiting-on-maintainers

NVIDIA-NeMo/RL#4173 · 已指派 1 人 · 2026年9月17日创建
[Bug] Dynamic CE–KD scaling changes when the same training batch is split into microbatches 未关闭

accuracy bug community-request waiting-on-maintainers

NVIDIA-NeMo/RL#4172 · 已指派 1 人 · 2026年9月17日创建
[Feature] Support R3 router replay with FSDP2/AutoModel and NeMo Gym 未关闭

Documentation Feature

NVIDIA-NeMo/RL#4170 · 已指派 1 人 · 2026年9月17日创建
[Feature] Add tiled output projection and log-probability backward for FSDP2/AutoModel GRPO 未关闭

Feature Memory

难度 5/5 一周以上新手友好度 38/100

NVIDIA-NeMo/RL#4169 · 2026年9月17日创建
[Enhancement] Validate 32K Nemotron FSDP2 dynamic batching beyond the first update 未关闭

Feature Memory

难度 5/5 一周以上新手友好度 25/100

NVIDIA-NeMo/RL#4168 · 2026年9月17日创建
[Bug] Packed Nemotron sequences attend across trajectory boundaries in FSDP2/AutoModel 未关闭

bug

难度 4/5 3-5 天新手友好度 48/100

NVIDIA-NeMo/RL#4167 · 1 条评论 · 2026年9月17日创建
[Feature] Support activation CPU offload with FSDP2/AutoModel 未关闭

Feature Memory

NVIDIA-NeMo/RL#4166 · 已指派 1 人 · 2026年9月17日创建
[Enhancement] Add a lightweight native Gym Bash recipe for Harbor SimpleQA training 未关闭

Feature

NVIDIA-NeMo/RL#4165 · 已指派 1 人 · 2026年9月17日创建
test: add Megatron-backend variant of Gym token-capture recovery functional test 未关闭

Feature

NVIDIA-NeMo/RL#4163 · 已指派 1 人 · 2026年9月17日创建
Make vLLM patches fail loudly and detect drift on a vLLM bump 未关闭

Automation Feature

NVIDIA-NeMo/RL#4155 · 已指派 1 人 · 2026年9月16日创建
glm5.3 flash RL validation and recipe 未关闭

Documentation Feature

NVIDIA-NeMo/RL#4150 · 已指派 1 人 · 2026年9月16日创建
AutoModel/Nemotron Omni truncates excess image features when rollout placeholders disagree 未关闭

bug Documentation

NVIDIA-NeMo/RL#4142 · 已指派 1 人 · 2026年9月15日创建
Make MBridge submodule bump conflict-free (flashinfer-jit-cache, nvidia-cutlass-dsl pins) 未关闭

Automation bug

NVIDIA-NeMo/RL#4141 · 已指派 1 人 · 2026年9月15日创建
Flaky test: L1_Functional_Tests_Megatron_4 fails with no error, runner appears to die mid-test (14x in 11 days) 未关闭

bug

NVIDIA-NeMo/RL#4138 · 1 条评论 · 已指派 1 人 · 2026年9月15日创建
[feat] nccl_reshard refit: support generation-side pipeline parallelism (vLLM and Megatron generation) 未关闭

community-request Feature Speed waiting-on-maintainers

NVIDIA-NeMo/RL#4104 · 1 个 reaction · 已指派 1 人 · 2026年9月11日创建
docs: Improve NeMo Gym discoverability across NeMo RL entry points 未关闭

Documentation Feature

NVIDIA-NeMo/RL#4071 · 1 条评论 · 已指派 1 人 · 2026年9月10日创建
fix(grpo): keep masked Gym failures out of prompt-group statistics 未关闭

accuracy bug

NVIDIA-NeMo/RL#4061 · 1 条评论 · 已指派 1 人 · 2026年9月9日创建
TQ: GDR PUTs stage CPU-resident tensors through the GPU buffer 未关闭

bug Speed

NVIDIA-NeMo/RL#4051 · 已指派 1 人 · 2026年9月8日创建
TQ: reconsider the `mooncake_cpu` backend name now that GDR exists 未关闭

enhancement Feature

NVIDIA-NeMo/RL#4049 · 已指派 1 人 · 2026年9月8日创建
[RFC] Companion vLLM-rollout workstream to #3743: zero train-generation mismatch via upstream batch-invariant kernels 未关闭

accuracy Feature

难度 5/5 一周以上新手友好度 25/100

NVIDIA-NeMo/RL#4039 · 2 条评论 · 2026年9月7日创建
main: L0_Unit_Tests_Megatron_Policy_1 fails, blocking functional tests on all PRs 未关闭

bug

NVIDIA-NeMo/RL#4035 · 已指派 1 人 · 2026年9月7日创建
Worker-class overrides are split across three mechanisms instead of one config field 未关闭

Feature

NVIDIA-NeMo/RL#4032 · 已指派 1 人 · 2026年9月6日创建
DeepEP 17cf pin times out in multi-node normal dispatch with NVSHMEM 3.7.2 未关闭

bug Speed

NVIDIA-NeMo/RL#4027 · 已指派 1 人 · 2026年9月6日创建
Split the Megatron generation refit mixin out of megatron_worker.py 未关闭

Feature

难度 2/5 半天新手友好度 78/100

NVIDIA-NeMo/RL#4016 · 2026年9月5日创建
Token capture finalizer: batch the group staging fetch, and give the pool a placement policy + a splittable timer 未关闭

Feature Speed

NVIDIA-NeMo/RL#4010 · 已指派 1 人 · 2026年9月5日创建
Refit method families on GenerationInterface have grown per-transport instead of behind one contract 未关闭

难度 5/5 一周以上新手友好度 35/100

NVIDIA-NeMo/RL#4006 · 2026年9月4日创建
Flaky test_value_worker_train_decreases_loss: tiny Qwen2 value head trains with HF's default 0.1 dropout 未关闭

accuracy bug community-request waiting-on-maintainers

NVIDIA-NeMo/RL#3999 · 已指派 1 人 · 2026年9月4日创建
Generation backends disagree on how to report "no OpenAI server": [None] vs [] 未关闭

bug Feature

难度 3/5 1-2 天新手友好度 76/100

NVIDIA-NeMo/RL#3977 · 2026年9月3日创建
Colocated training state offload is inefficient 未关闭

bug Speed

难度 4/5 3-5 天新手友好度 35/100

NVIDIA-NeMo/RL#3976 · 3 条评论 · 2026年9月3日创建
fix(grpo): exclude filtered samples from legacy advantage metrics 未关闭

accuracy bug

NVIDIA-NeMo/RL#3957 · 已指派 1 人 · 2026年9月2日创建
[ALERT] Access to NVIDIA's Self-Hosted Runners is Expiring 未关闭

Automation nvidia-runners

难度 2/5 1-3 小时新手友好度 25/100

NVIDIA-NeMo/RL#3952 · 2026年9月1日创建
nightly test fail after mbridge bump in #3906 未关闭

Automation bug

NVIDIA-NeMo/RL#3946 · 2 个 reaction · 已指派 1 人 · 2026年9月1日创建
Disallow truncate_history_thinking=true for NeMo-RL rollouts 未关闭

NVIDIA-NeMo/RL#3931 · 已指派 1 人 · 2026年8月31日创建
Split path: support MTP + SEQUENCE_LEVEL loss with mtp_detach_heads=False 未关闭

accuracy bug

NVIDIA-NeMo/RL#3889 · 已指派 1 人 · 2026年8月27日创建
Split path: MoE auxiliary loss inherits the main loss denominator instead of 1/global_valid_toks 未关闭

accuracy bug

NVIDIA-NeMo/RL#3888 · 已指派 1 人 · 2026年8月27日创建
Can you add support for GRPO training with Qwen/Qwen3.8-Flash-Next? 未关闭

community-request enhancement Feature waiting-on-customer x-intuit

NVIDIA-NeMo/RL#3866 · 1 条评论 · 已指派 3 人 · 2026年8月27日创建
Multi-turn rollout: a max_tokens-truncated response ends the trajectory on the async path but not the sync one 未关闭

bug community-request waiting-on-maintainers

NVIDIA-NeMo/RL#3851 · 已指派 1 人 · 2026年8月26日创建
async PPO: startup barrier still requires a complete lookahead, serializing every resume 未关闭

Feature

NVIDIA-NeMo/RL#3828 · 已指派 1 人 · 2026年8月25日创建
Move MOPD teacher scoring out of TQReplayBuffer.commit() into its own stage 未关闭

Feature

NVIDIA-NeMo/RL#3815 · 已指派 1 人 · 2026年8月25日创建
test: prefetch config validation cannot cover LocalVLLMModelConfig in CI 未关闭

Automation bug

NVIDIA-NeMo/RL#3806 · 已指派 1 人 · 2026年8月24日创建
Worker startup fails when the repo path contains a space (unquoted git_root re-parsed by shlex.split) 未关闭

Automation bug community-request

NVIDIA-NeMo/RL#3800 · 已指派 1 人 · 2026年8月24日创建
PPO default yaml OOM 未关闭

bug Memory

NVIDIA-NeMo/RL#3793 · 1 条评论 · 已指派 2 人 · 2026年8月24日创建

只显示最新的 100 条

这个页面只列出最近收录的部分。完整清单在高级筛选里，可以按语言、难度和预计耗时筛选。

前往高级筛选

NVIDIA-NeMo/RL

只显示最新的 100 条

把新 issue 发到你的邮箱