Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

DPO manual and CLI wizard reverse dpo_beta: they say a lower beta keeps the model closer to the reference model, but in TRL a higher beta does (F-W1-DOCS-TRAIN-07)

Đang mở Phù hợp với người mới
  • Có gì không ổn?
#880 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
2/5
Thời gian dự kiến
1-3 giờ
Mức phù hợp với người mới
68/100
Loại issue
Tài liệu
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
markdown, python
Lĩnh vực
cli, documentation

Hướng nghiên cứu

Bắt đầu với tham số DPO và các bảng tinh chỉnh trong docs/usermanuals/en/training/dpo.md (khoảng dòng 111 và 136-145), sau đó xem bản tiếng Thổ Nhĩ Kỳ tương ứng trong docs/usermanuals/tr/training/dpo.md (dòng 102 và 125-134). Đồng thời, chỉnh sửa chuỗi prompt của trình hướng dẫn trong forgelm/wizard/_collectors.py gần dòng 380. Dòng 732 trong forgelm/trainer.py chỉ truyền giá trị đi và phải giữ nguyên. Công việc hoàn thành khi mọi mô tả về beta ở cả hai ngôn ngữ và prompt của trình hướng dẫn đều nêu rằng beta cao hơn giúp chính sách gần với mô hình tham chiếu hơn, và khi mẹo khuyên tăng beta khi đánh giá bị suy giảm.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

documentation good first issue severity: medium source: review-2026-09 wave: 3

Wave 3 · group W3 Docs · highest severity Medium · 1 finding(s) · effort docs fix

Summary

The DPO page tells users that a lower dpo_beta keeps the policy closer to the reference model and a higher one makes a more aggressive preference shift, and advises lowering beta when evaluation regresses. TRL, which receives the value unchanged, defines the opposite: a higher β means less deviation from the reference model. A user who follows the tip to fix over-fitting weakens the KL regularisation and moves the model further from the reference.

Primary finding

F-W1-DOCS-TRAIN-07 — DPO beta guidance reverses the regularisation direction

severity Medium · confidence high · checked against the installed TRL source and its reference docs

What happens. The parameter table (docs/usermanuals/en/training/dpo.md:111), the tuning table and the tip (docs/usermanuals/en/training/dpo.md:136-145) describe a lower β as staying close to the reference and a higher β as more aggressive; the Turkish mirror says the same (docs/usermanuals/tr/training/dpo.md:102, docs/usermanuals/tr/training/dpo.md:125-134). The CLI wizard prompt repeats it: dpo_beta — temperature / KL strength (lower → closer to reference model) (forgelm/wizard/_collectors.py:380). ForgeLM passes training.dpo_beta to TRL's DPOConfig unchanged (forgelm/trainer.py:732). The site's own wizard text already states the correct direction (site/js/translations.js:1651: "higher beta keeps it close to the reference"), so the site and the manual contradict each other.

Where.

Evidence (re-verified on 2026-10-09).

  • Installed TRL 1.7.1, trl/trainer/dpo_config.py: "Parameter controlling the deviation from the reference model. Higher β means less deviation from the reference model." The official reference says the same: https://huggingface.co/docs/trl/dpo_trainer#trl.DPOConfig
  • forgelm/trainer.py:732 sets kwargs["beta"] = self.config.training.dpo_beta with no transformation.

Recommended fix. Reverse the direction in the parameter table, the tuning table and the tip, in English and Turkish: a lower β weakens the KL penalty and lets the policy move further from the reference (a more aggressive preference shift); a higher β keeps it closer. When evaluation regresses while training loss keeps falling, advise a higher β (or fewer steps, or a lower learning rate) checked against held-out evaluation. Change the CLI wizard prompt to (higher → closer to reference model). Linking TRL's DPOConfig reference from the parameter row keeps the two from drifting again.

Acceptance criteria

  • The English and Turkish DPO pages describe β the way TRL's DPOConfig does, in the parameter table, the tuning table and the tip.
  • The CLI wizard prompt and the site wizard describe the same direction.
  • Documentation listed above is corrected in English and in its Turkish mirror in the same PR.
  • The finding is resolved or explicitly closed with a reason.

Found by the September 2026 independent review of ForgeLM against commit cab2947 and re-verified against development at f94595f on 2026-10-09. Code links point at cab2947; line numbers may have moved since. Finding IDs (F-W1-…) are stable references for this backlog.

Ngôn ngữ chính
Python
Star
9
Fork
1
Merge trung bình
11 giờ 8 phút
Pull request đã merge (30 ngày)
10

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của HodeTech/ForgeLM

Tất cả issue của HodeTech/ForgeLM

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.