Propietario

NovaSky-AI

1 repositorio indexado · Ver en GitHub

SkyRL
SkyRL: A Modular Full-stack RL Library for LLMs

Python · 2339 estrellas

Para principiantes Todo

Abierto Todos

pad_training_input_batch pads TensorList fields with tensor[0].clone() — loss-masked pad rows carry a real row's payload (ragged-consumer crash; wrong pixel_values/image_grid_thw on pad rows) Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100

NovaSky-AI/SkyRL#2263 · Abierto el 22/9/2026
fully_async (non-colocated): training actor emits all-NaN logits on every microbatch of the first step after the first NCCL weight sync; weights/optimizer/exports all finite Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 38/100

NovaSky-AI/SkyRL#2247 · Abierto el 19/9/2026
fully_async: non-colocated weight sync ignores clear_kv_cache_on_weight_sync — stale prefix-cache KV trained on after each sync Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 68/100

NovaSky-AI/SkyRL#2246 · Abierto el 19/9/2026
[bug][fsdp] FSDP2 manual offload/load corrupts DTensor unshard state under `colocate_all=True`, causing silent non-deterministic logit errors Abierto

NovaSky-AI/SkyRL#2215 · 1 comentario · 1 asignado · Abierto el 16/9/2026
[feature] Honor max_tokens_per_microbatch in the loss-path forward (forward with loss_fn) Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 68/100

NovaSky-AI/SkyRL#2211 · Abierto el 15/9/2026
[weight sync] Improve offload/backload semantics while training with LoRA with `colocate_all=True` Abierto

NovaSky-AI/SkyRL#2206 · 1 asignado · Abierto el 14/9/2026
Support full-distribution comparison to validate bitwise consistency between rollout and training Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 52/100

NovaSky-AI/SkyRL#2201 · 1 comentario · Abierto el 12/9/2026
[tinker] Retain only the K most recent checkpoints Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 45/100

NovaSky-AI/SkyRL#2116 · Abierto el 1/9/2026
[train] FSDP2 cannot train glm4v VLMs: per-nn.Embedding fully_shard leaves vision position_embedding sharded at raw .weight read (grid_sample DTensor crash) Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 55/100

NovaSky-AI/SkyRL#2087 · Abierto el 22/8/2026
Multi-turn VLM generator corrupts trajectories for all thinking models: history-editing chat templates break the deferred obs-token offsets Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

NovaSky-AI/SkyRL#2075 · Abierto el 21/8/2026
[deps] Migrate custom vLLM-router fork on top of 0.1.15 release of vllm-router Abierto

NovaSky-AI/SkyRL#2070 · 1 comentario · 1 asignado · Abierto el 19/8/2026
[vllm] Remove old inference worker wrap code after 0.26.0 update Abierto

NovaSky-AI/SkyRL#2020 · 2 asignados · Abierto el 12/8/2026
[examples] Add example startup scripts for tinker engine Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 63/100

NovaSky-AI/SkyRL#1983 · 1 comentario · Abierto el 4/8/2026
Qwen3.6-27B MTP is unsafe with prefix caching enabled Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 50/100

NovaSky-AI/SkyRL#1981 · Abierto el 4/8/2026
[dependencies] migrate to uv official wheels Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100

NovaSky-AI/SkyRL#1975 · 1 comentario · Abierto el 3/8/2026
[RFC] SkyRL TITO Proxy Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

NovaSky-AI/SkyRL#1959 · 4 comentarios · Abierto el 29/7/2026
[usability] Improve SkyRL cold start time Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

NovaSky-AI/SkyRL#1954 · 1 comentario · Abierto el 28/7/2026
[frontend] Support tinker as a backend for SkyRL's frontend training code Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

NovaSky-AI/SkyRL#1949 · 1 comentario · 2 reacciones · Abierto el 27/7/2026
SkyRL quantization (FP8, MXFP8, NVFP4) tracker Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

NovaSky-AI/SkyRL#1943 · Abierto el 24/7/2026
[RFC] Delta weight sync in SkyRL Abierto

NovaSky-AI/SkyRL#1903 · 1 asignado · Abierto el 15/7/2026
skyrl-v0-8b-agent Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

NovaSky-AI/SkyRL#1885 · Abierto el 13/7/2026
[CI] Some CPU-only megatron tests are skipped in CPU CI Abierto

NovaSky-AI/SkyRL#1881 · 1 asignado · Abierto el 10/7/2026
[tinker] Colocated sampling runs in run-to-completion batches — multi-turn RL sees ~8x sampling latency Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 45/100

NovaSky-AI/SkyRL#1877 · 1 reacción · Abierto el 9/7/2026
FSDP token-based `forward_backward` returns `loss_fn_outputs` in packed order when max_tokens_per_microbatch > 0 Abierto

NovaSky-AI/SkyRL#1865 · 1 comentario · 1 reacción · 1 asignado · Abierto el 5/7/2026
skyrl-v0-8b experiments Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 35/100

NovaSky-AI/SkyRL#1864 · Abierto el 5/7/2026
Multimodal Tinker sampling with LoRA 404s: _render_for_sample posts the adapter name to /v1/chat/completions/render Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100

NovaSky-AI/SkyRL#1860 · 1 comentario · Abierto el 1/7/2026
HF/FSDP backend: pass `logits_to_keep` to avoid materializing full logits tensor Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 72/100

NovaSky-AI/SkyRL#1858 · 1 comentario · Abierto el 1/7/2026
SkyRL Q3 2026 Roadmap Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 20/100

NovaSky-AI/SkyRL#1846 · 8 comentarios · 7 reacciones · Abierto el 29/6/2026
[algorithm] Add adaptive entropy methods (ADAPO, REPO-R, MAI-Thinking) Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

NovaSky-AI/SkyRL#1845 · Abierto el 29/6/2026
[tinker] cascading distributed barrier timeouts with multi-tenant LoRA Abierto

NovaSky-AI/SkyRL#1827 · 1 asignado · Abierto el 23/6/2026
Fix reduction for entropy and other metrics in policy workers Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 55/100

NovaSky-AI/SkyRL#1822 · 1 comentario · Abierto el 22/6/2026
adv_estimator (function param) vs advantage_estimator (config field) naming mismatch causes confusing startup crash Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100

NovaSky-AI/SkyRL#1792 · Abierto el 16/6/2026
[LoRA] Investigate LoRA training inference mismatch for Qwen3.6 MoE and GLM-4.7-Flash Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

NovaSky-AI/SkyRL#1776 · 2 comentarios · 2 reacciones · Abierto el 10/6/2026
[fsdp] monitor FSDP training stability regression after #1679 Abierto

NovaSky-AI/SkyRL#1767 · 2 comentarios · 1 asignado · Abierto el 9/6/2026
Example for training on SWE (agentic software-engineering) tasks? Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 38/100

NovaSky-AI/SkyRL#1757 · 1 comentario · Abierto el 7/6/2026
[feature] Add ECHO patch to SkyRL Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

NovaSky-AI/SkyRL#1715 · 1 comentario · Abierto el 28/5/2026
[CI] Add GLM 4.7 to Megatron Models CI Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 72/100

NovaSky-AI/SkyRL#1681 · Abierto el 17/5/2026
`create_ray_wrapped_inference_engines` drops the engine-core child's root cause on init failure Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 55/100

NovaSky-AI/SkyRL#1673 · Abierto el 15/5/2026
`RemoteInferenceEngine` swallows vLLM's 404, surfaces as opaque `IndexError` Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 68/100

NovaSky-AI/SkyRL#1672 · 1 comentario · Abierto el 15/5/2026
[tinker] SkyRLTrainBackend tinker multi-tenancy improvements Abierto

NovaSky-AI/SkyRL#1654 · 1 asignado · Abierto el 12/5/2026
[tinker] Support additional Tinker LoraConfig parameters Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 65/100

NovaSky-AI/SkyRL#1632 · Abierto el 7/5/2026
[vllm] Investigate whether NCCL_CUMEM_ENABLE should be set to 0 Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

NovaSky-AI/SkyRL#1630 · Abierto el 7/5/2026
`SkyRLGymGenerator` crashes whole training step when one rollout fails Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 55/100

NovaSky-AI/SkyRL#1613 · 1 reacción · Abierto el 2/5/2026
`RayPPOTrainer._remove_tail_data` silently truncates a training batch to empty and throws `ValueError` Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100

NovaSky-AI/SkyRL#1609 · Abierto el 1/5/2026
Flaky test_qwen3_moe_layer_lora, replace np.allclose? Abierto

Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100

NovaSky-AI/SkyRL#1604 · Abierto el 30/4/2026
SkyRL silently binds every FSDP policy worker to GPU 0 when Ray doesn't isolate `CUDA_VISIBLE_DEVICES` Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

NovaSky-AI/SkyRL#1577 · 3 comentarios · Abierto el 27/4/2026
[tx] Kimi K2.5 and Kimi K2.6 support Abierto

NovaSky-AI/SkyRL#1566 · 1 comentario · 3 reacciones · 1 asignado · Abierto el 23/4/2026
Gemma 4 training fails as `flash-attn` rejects `head_dim=512` on global attention layers Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 45/100

NovaSky-AI/SkyRL#1564 · 1 comentario · Abierto el 23/4/2026
`policy.language_model_only=True` fails to exclude vision/audio towers from the FSDP policy for `google/gemma-4-E4B-it`, crashing FSDP2 init Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 50/100

NovaSky-AI/SkyRL#1559 · Abierto el 22/4/2026
Ensure sample_packing support for Qwen3.5 for FSDP2 and Megatron Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 35/100

NovaSky-AI/SkyRL#1525 · 3 comentarios · Abierto el 16/4/2026

Mostrando los 100 más recientes

Esta página solo lista lo indexado más recientemente. El filtro avanzado tiene el inventario completo, acotado por lenguaje, dificultad y duración.

Abrir el filtro avanzado

NovaSky-AI

Mostrando los 100 más recientes

Recibe los nuevos issues en tu correo