倉庫

neuralmagic 的倉庫

A high-throughput and memory-efficient inference and serving engine for LLMs

最近提交 2024年9月4日

 (266 stars) (10 forks) (0 個已索引 issue) (0 個開放 good first issue)

A high-throughput and memory-efficient inference and serving engine for LLMs

最近提交 2026年6月4日

 (17 stars) (7 forks) (0 個已索引 issue) (0 個開放 good first issue)