unslothai/unsloth

DPO, ORPO - grad accumulation fix

Chiusa

#1178 aperta il 24 ott 2024

Vedi su GitHubGuida contributor
 (1 commento) (0 reazioni) (0 assegnatari)Python (5658 fork)batch import
feature requesthelp wanted

Metriche repository

Star
 (64.271 stelle)
Metriche merge PR
 (Merge medio 3g 15h) (525 PR mergiate in 30 g)

Descrizione

Goal: Propagate gradient accumulation fix to DPO - much harder since it requires a full rewrite of https://github.com/huggingface/trl/blob/main/trl/trainer/dpo_trainer.py

Guida contributor

Direzione di ricerca
Studia il trainer DPO nella libreria trl, esamina la correzione del gradiente accumulato già applicata altrove (ad esempio ORPO) e riscrivi il trainer DPO per incorporare la correzione.
Tech stack
pythonpytorch
Dominio
machine learning
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
4
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
PythonPyTorchDPO
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
30