Add ExLlama inference support

Metriche repository

Star

14 stelle (14 stelle)

Metriche merge PR

Nessuna PR mergiata in 30 g (Nessuna PR mergiata in 30 g)

Descrizione

Guida contributor

Direzione di ricerca

Esamina il codice di inferenza esistente e integra ExLlama seguendo i collegamenti forniti.

Tech stack

python

Dominio

machine learningai

Tipo issue

Funzionalità

DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.

3

Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.

Mezza giornata

Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.

Attiva

ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.

Chiara

Prerequisiti

PythonGit

Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.

60