[Feature request] Support loading GGUF and GGML model format

仓库指标

星标

38,959 个星标 (38,959 个星标)

PR 合并指标

PR 指标待抓取 (PR 指标待抓取)

描述

贡献者指南

研究方向

探索其他LLM服务框架（如llama.cpp、Ollama）如何加载GGUF/GGML模型格式。确定FastChat模型加载器中支持这些格式所需的更改。重点关注`fastchat.model.model adapter`及相关模块。

技术栈

python

领域

machine learningbackend

议题类型

功能

难度面向新贡献者的预计实现难度，1 表示很小改动，5 表示专家级工作。

3

预计时间有经验贡献者完成调查、实现、测试并准备 pull request 的粗略时间范围。

半天

活动状态议题当前的可参与程度：新鲜、活跃、陈旧、阻塞或等待维护者输入。

活跃

清晰度议题是否清楚说明期望改动、验收标准和下一步。

基本清晰

前置要求

PythonFamiliarity with LLM model formats

新手友好度1-100 的估计分数，表示该议题对首次贡献者的友好程度。

50