lm-sys/FastChat

TensorRT-LLM backend support?

Open

#2 595 ouverte le 21 oct. 2023

Voir sur GitHub
 (3 commentaires) (7 réactions) (0 assignés)Python (38 959 stars) (4 736 forks)batch import
enhancementgood first issue

Description

Any plan to NVIDIA's new tensorrt llm backend? https://github.com/NVIDIA/TensorRT-LLM/tree/release/0.5.0

Guide contributeur