Deploy AutoGPTQ model to Replicate

Metriche repository

Star

14 star (14 star)

Metriche merge PR

Nessuna PR mergiata in 30 g (Nessuna PR mergiata in 30 g)

Descrizione

Questa issue non ha descrizione indicizzata.

Guida contributor

Direzione di ricerca

Studia la documentazione di Replicate per il deployment di modelli Python. Comprendi l'esportazione e la quantizzazione del modello AutoGPTQ. Crea una configurazione Cog per servire il modello.

Tech stack

pythonpytorch

Dominio

aimachine learningclouddevops

Tipo issue

DevOps

DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.

3

Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.

Mezza giornata

Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.

Attiva

ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.

Abbastanza chiara

Prerequisiti

PythonGit

Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.

50