verl-project/verl

Support Generative Reward Model (GenRM)

Fermée

#229 ouverte le 9 févr. 2025

Voir sur GitHubGuide contributeur
 (17 commentaires) (0 réaction) (1 personne assignée)Python (4 434 forks)auto 404
enhancementgood first issue

Métriques du dépôt

Stars
 (23 078 étoiles)
Métriques de merge PR
 (Merge moyen 3j 6h) (125 PRs mergées en 30 j)

Description

According to the documentation, veRL only supports AutoModelForSequenceClassification. What would be the best way to implement generative reward model (GenRM) for veRL? I tried looking at FSDP Workers and Megatron-LM Workers but they no longer exist.

Guide contributeur

Direction de recherche
Étudiez l'implémentation actuelle du modèle de récompense dans verl, en particulier la prise en charge d'AutoModelForSequenceClassification. Examinez les commentaires et les PR liées pour les conceptions proposées. Étant donné que les workers référencés n'existent plus, explorez l'architecture actuelle actor/critic pour identifier où l'intégration de GenRM s'insérerait. Proposez une conception qui étend le modèle de récompense pour prendre en charge l'évaluation basée sur la génération.
Stack technique
python
Domaine
machine learningai
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
4
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
PythonPyTorch
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
30