lm-sys/FastChat

TensorRT-LLM backend support?

Open

#2,595 opened on 2023年10月21日

GitHub で見る
 (3 comments) (7 reactions) (0 assignees)Python (4,736 forks)batch import
enhancementgood first issue

Repository metrics

Stars
 (38,959 stars)
PR merge metrics
 (30d に merged PR はありません)

説明

Any plan to NVIDIA's new tensorrt llm backend? https://github.com/NVIDIA/TensorRT-LLM/tree/release/0.5.0

コントリビューターガイド