lm-sys/FastChat

TensorRT-LLM backend support?

Open

#2,595 创建于 2023年10月21日

在 GitHub 查看
 (3 评论) (7 反应) (0 负责人)Python (38,959 star) (4,736 fork)batch import
enhancementgood first issue

描述

Any plan to NVIDIA's new tensorrt llm backend? https://github.com/NVIDIA/TensorRT-LLM/tree/release/0.5.0

贡献者指南

技术栈
无
领域
backendmachine learning
议题类型
feature
难度面向新贡献者的预计实现难度，1 表示很小改动，5 表示专家级工作。
4
预计时间有经验贡献者完成调查、实现、测试并准备 pull request 的粗略时间范围。
over 1 week
活动状态议题当前的可参与程度：新鲜、活跃、陈旧、阻塞或等待维护者输入。
needs maintainer response
清晰度议题是否清楚说明期望改动、验收标准和下一步。
mostly clear
前置要求
无
新手友好度1-100 的估计分数，表示该议题对首次贡献者的友好程度。
10
研究方向
This issue requests support for TensorRT LLM backend. No maintainer has responded, so the first step is to elicit a response. If approved, review existing backend integrations in FastChat (e.g., 'fastchat/serve') and study TensorRT LLM documentation to design the integration.