lm-sys/FastChat

TensorRT-LLM backend support?

Aperta

#2595 aperta il 21 ott 2023

Vedi su GitHub
 (3 commenti) (7 reazioni) (0 assegnatari)Python (4736 fork)batch import
enhancementgood first issue

Metriche repository

Star
 (38.959 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Any plan to NVIDIA's new tensorrt llm backend? https://github.com/NVIDIA/TensorRT-LLM/tree/release/0.5.0

Guida contributor

Direzione di ricerca
Studia le possibilità di integrazione di TensorRT LLM in FastChat. Inizia leggendo la documentazione di TensorRT LLM e capendo come aggiungere un nuovo backend.
Tech stack
python
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonLLM concepts
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65