[Question] Any plans to support pipeline RL to avoid ramp down time during weight update in sglang servers
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 30/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Ít trao đổi
- Công nghệ
- python
- Lĩnh vực
- distributed-systems, machine-learning
Hướng nghiên cứu
Bắt đầu với tài liệu và FAQ của slime, sau đó truy vết cách các máy chủ SGLang giảm dần các yêu cầu trong quá trình truyền trọng số ở phiên bản 0.2.4. So sánh hành vi đó với paper về pipeline RL và xác định xem một cấu hình hoặc triển khai hiện có có hỗ trợ tránh việc giảm dần này hay không; được xem là hoàn tất khi câu trả lời được ghi lại hoặc phần hỗ trợ cần thiết được xác định rõ ràng.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Your Question
I am running slime for qwen3.5 397B model and the weight transfer is taking too long. I tried to profile the delay and it seems i am taking a lot of time in ramp down of requests in SGLang servers. Is it possible to avoid this ramp down during weight transfer similar to what has been done in pipeline RL paper: https://arxiv.org/pdf/2509.19128 for vllm. Let me know if its already supported or if there is an open PR to add this functionality.
What I've Tried
I have tried looking at documentation and FAQ but could not find the implementation or a direct way to use it in slime.
Environment (if relevant)
- slime version: v0.2.4
Additional Context
No response
Pre-submission Checklist
- I have read the CONTRIBUTING.md and understand the collaboration scope.
- I have read the documentation and FAQ and my question is not answered there.
- I have searched for existing issues and my question has not been asked before.
- Ngôn ngữ chính
- Python
- Star
- 8.8k
- Fork
- 1.3k
- Merge trung bình
- 19 giờ
- Pull request đã merge (30 ngày)
- 26
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Không có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của THUDM/slime
-
[Bug] Math reward accepts distinct large integers after float normalizationCó thể đã có người làm @lll-hhh đã nhận 1 ngày trước. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 1 ngày
-
gpqa: when no option letter can be extracted, a single-letter gold label is substring-matched against the whole reply, so a reply that never answers can score 1.0Có thể đã có người làm @shaurya416 đã nhận 37 ngày trước. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
Maintainer thường phản hồi trong vòng 1 ngày
-
[Bug] shipped dynamic-sampling filters crash on fan-out groups (list[list[Sample]]) from multi-turn agent rolloutsCó thể đã có người làm @QIU-Guanzong đã nhận 48 ngày trước. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100
Maintainer thường phản hồi trong vòng 1 ngày
-
[Bug] W&B initialization fails with wandb 0.28.2 because wandb.util.generate_id was removedCó thể đã có người làm @cyyecao-lappland đã nhận 66 ngày trước. Đang mởbug
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 90/100
THUDM/slime#2332 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
[Bug] solution_str = sample.prompt + sample.responseCó thể đã có người làm @mvanhorn đã nhận 130 ngày trước. Đang mởbug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
THUDM/slime#1829 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
Issue tương tự
-
ReadQwen3PaperTask5 rejects correct answers that differ only in order, case, or underscore formCó thể đã có người làm @Kingpython123 đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 90/100
Tongyi-MAI/MobileWorld#72 ·
-
_threads/application: Update typing annotations using `pyupgrade --py311-plus`Có thể đã có người làm @gudnimg đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Health probes return 401 when authentication is enabled and the API is served under /orbCó thể đã có người làm @fgogolli đã nhận hôm nay. Đang mởarea: api priority: p2 size: S type: bug
Độ khó 2/5 Nửa ngày Mức phù hợp với người mới 75/100
finos/open-resource-broker#704 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 74/100
BCDA-APS/polar-bits#93 ·
-
bug
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 90/100
GoogleCloudPlatform/gce-rescue#218 ·
Maintainer thường phản hồi trong vòng 2 ngày