Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

reflect: analysts see no trajectories for task ids that #309 maps, so LiveMathematicianBench training makes no edits

Đang mở Phù hợp với người mới
  • Có gì không ổn?
#332 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
2/5
Thời gian dự kiến
1-3 giờ
Mức phù hợp với người mới
78/100
Loại issue
Lỗi
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
python
Lĩnh vực
machine-learning

Hướng nghiên cứu

Bắt đầu với skillopt/gradient/reflect.py và so sánh năm lần đọc đầu ra của nó với ánh xạ mà các rollout sử dụng trong skillopt/envs/task_output.py. Kiểm tra cách task_output_segment xử lý các task ID không an toàn và thêm một bài kiểm tra tập trung cho ID đã ánh xạ và phương án dự phòng dùng ID thô. Công việc hoàn tất khi reflection tìm thấy các tệp quỹ đạo cho ID LiveMathematicianBench và quá trình training có thể tạo ra các chỉnh sửa.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

What happens. Since #309 (confine benchmark task output paths), rollouts write each task's outputs under predictions/<task_output_segment(id)>, so ids containing characters such as : are mapped to a safe directory name. skillopt/gradient/reflect.py still reads those outputs from the raw id, os.path.join(prediction_dir, tid, ...), in five places on main (84b36cd): conversation.json (line 141), target_system_prompt.txt (170), target_user_prompt.txt (182), codex_trace_summary.txt (195) and claude_trace_steps.txt (218).

LiveMathematicianBench ids have the form <month>:<number>, so every conversation.json lookup misses and fmt_minibatch_trajectories skips every item. Each analyst then returns no edits, and training runs all its epochs without changing the skill.

To reproduce. Train with configs/livemathematicianbench/default.yaml at 1a44050 (we used the claude_chat backend, Opus 4.6 as target and optimizer, on Linux with Python 3.12). Every step's analysts return 0 edits, and the skill stays at initial.md.

The fix we used. Read the outputs through the same mapping the rollouts use, falling back to the raw id:

from skillopt.envs.task_output import task_output_segment

def _task_dir(prediction_dir: str, tid: str) -> str:
    """Directory holding a task's outputs: the mapped segment rollouts write (#309), else the raw id."""
    mapped = os.path.join(prediction_dir, task_output_segment(tid, map_unsafe=True))
    if os.path.isdir(mapped):
        return mapped
    return os.path.join(prediction_dir, tid)

and use _task_dir(prediction_dir, tid) at each of the five reads. With it, the analysts get their trajectories again and training makes edits. In one LiveMathematicianBench run, test accuracy went from 46.4% for the starting skill to 74.4% for the best skill.

We're happy to open a PR with this change and a focused test, if that would help.

Ngôn ngữ chính
Python
Star
18.5k
Fork
1.8k
Merge trung bình
4 ngày 19 giờ
Pull request đã merge (30 ngày)
14

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của microsoft/SkillOpt

Tất cả issue của microsoft/SkillOpt

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.