Training can admit batches beyond trainer.total_epochs

Đang mở
  • Có gì không ổn?
#693 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 3 ngày

@liuzhengyang699 đang làm issue này rồi.

Từ ngày 6/11/2026.

  • #694 của @liuzhengyang699 — đang mở

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
30/100
Loại issue
Lỗi
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Đình trệ
Công nghệ
python
Lĩnh vực
machine-learning

Hướng nghiên cứu

Start with AgentLightningRayPPOTrainer.fit() and _next_train_batch_dict() in agentlightning/verl/trainer.py, then trace the asynchronous sized refill helper described in the issue. The body says CPU regressions are ready; run the focused tests for sync and async epoch limits, partial refills, carry-over groups, step limits, and final validation/checkpointing. Done means no new inputs are admitted past the epoch limit, admitted async groups drain, and the explicit step limit takes precedence.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

With trainer.total_epochs=1 and a larger trainer.total_training_steps, synchronous training consumes the first batch of a second epoch before stopping. The outer fit() check runs before _next_train_batch_dict() discovers exhaustion; that helper increments the epoch and immediately opens the dataloader again.

Minimal CPU reproduction on bc3a9e8:

from types import SimpleNamespace
from agentlightning.verl.trainer import AgentLightningRayPPOTrainer

trainer = object.__new__(AgentLightningRayPPOTrainer)
trainer.config = SimpleNamespace(trainer=SimpleNamespace(total_epochs=1))
trainer.epoch = 1
trainer.train_dataloader = [{"item": [0, 1]}, {"item": [2, 3]}]
trainer._train_dataloader_iter = None
print([trainer._next_train_batch_dict()["item"] for _ in range(3)])
# [[0, 1], [2, 3], [0, 1]]

Only the first two batches belong to the requested epoch. A regression through fit() confirms the extra optimizer update when the step limit does not stop it first.

Asynchronous collection has the same unbounded iterator in its sized refill helper. A refill can cross the final epoch, while stopping immediately at the outer epoch check can leave previously admitted groups unfinished. The intended behavior is to stop admitting new inputs at the epoch limit and drain those groups, with the explicit step limit still taking precedence.

A focused fix and CPU regressions are ready. Nine of the initial 11 cases fail on unchanged main. Tests cover synchronous and asynchronous training, partial final refills, carry-over groups, independent step limits, and final validation/checkpointing. Checkpoint-resume epoch accounting is outside this change.

This was found during a follow-up audit with AI assistance. The reproduction and tests do not run GPU workers or end-to-end training.

Ngôn ngữ chính
Python
Star
18.9k
Fork
1.7k
Merge trung bình
5 ngày 19 giờ
Pull request đã merge (30 ngày)
14

Chuẩn bị môi trường

Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của microsoft/agent-lightning

Tất cả issue của microsoft/agent-lightning

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.