17 件のコメント (17 件のコメント)0 件のリアクション (0 件のリアクション)1 人の担当者 (1 人の担当者)Python4,427 件のフォーク (4,427 件のフォーク)auto 404
enhancementgood first issue
Repository metrics
- Stars
- 23,038 個のスター (23,038 個のスター)
- PR merge metrics
- 平均マージ 3d 6h (平均マージ 3d 6h)30d で 125 merged PRs (30d で 125 merged PRs)
説明
According to the documentation, veRL only supports AutoModelForSequenceClassification. What would be the best way to implement generative reward model (GenRM) for veRL? I tried looking at FSDP Workers and Megatron-LM Workers but they no longer exist.
コントリビューターガイド
- 調査方針
- verl における現在の報酬モデルの実装、特に AutoModelForSequenceClassification のサポートを調査する。関連するコメントやリンクされた PR で提案されている設計をレビューする。参照されている workers はもはや存在しないため、現在の actor/critic アーキテクチャを探索し、GenRM 統合がどこに適合するかを特定する。生成ベースのスコアリングをサポートするように報酬モデルを拡張する設計を提案する。
- 技術スタック
- python
- 領域
- machine learningai
- Issue 種別
- 機能
- 前提条件
- PythonPyTorch
