unslothai/unsloth

Can I use Unsloth / TRL to PEFT embeddings and rerankers?

Chiusa

#343 aperta il 16 apr 2024

Vedi su GitHubGuida contributor
 (2 commenti) (0 reazioni) (0 assegnatari)Python (5658 fork)batch import
feature requesthelp wanted

Metriche repository

Star
 (64.271 stelle)
Metriche merge PR
 (Merge medio 3g 15h) (525 PR mergiate in 30 g)

Descrizione

I have done that with peft in the past with good and not so good results ;)

Guida contributor

Direzione di ricerca
Esamina la documentazione di Unsloth e TRL per verificare se supportano PEFT per embedding e reranker. Controlla i commenti sull'issue per eventuali risposte dei maintainer. Se non supportato, considera di aggiungere una richiesta di funzionalità o un aggiornamento della documentazione.
Tech stack
pythonpytorch
Dominio
machine learningai
Tipo issue
Ricerca
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
4
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Meno di 1 ora
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
In attesa del maintainer
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Richiede indagine
Prerequisiti
basic understanding of PEFT
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
30