verl-project/verl

Support Generative Reward Model (GenRM)

Chiusa

#229 aperta il 9 feb 2025

Vedi su GitHubGuida contributor
 (17 commenti) (0 reazioni) (1 assegnatario)Python (4426 fork)auto 404
enhancementgood first issue

Metriche repository

Star
 (23.023 stelle)
Metriche merge PR
 (Merge medio 3g 6h) (125 PR mergiate in 30 g)

Descrizione

According to the documentation, veRL only supports AutoModelForSequenceClassification. What would be the best way to implement generative reward model (GenRM) for veRL? I tried looking at FSDP Workers and Megatron-LM Workers but they no longer exist.

Guida contributor

Direzione di ricerca
Indaga l'implementazione attuale del modello di ricompensa in verl, in particolare il supporto di AutoModelForSequenceClassification. Rivedi i commenti e le PR collegate per i design proposti. Poiché i worker referenziati non esistono più, esplora l'architettura attuale actor/critic per identificare dove si inserirebbe l'integrazione di GenRM. Proponi un design che estenda il modello di ricompensa per supportare la valutazione basata sulla generazione.
Tech stack
python
Dominio
machine learningai
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
4
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
PythonPyTorch
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
30