仓库

vllm-project 的仓库

This repo hosts code for vLLM CI & Performance Benchmark infrastructure.

最近提交 2026年6月6日

 (42 stars) (68 forks) (0 个已索引 issue) (0 个开放 good first issue)

Fast and memory-efficient exact attention

最近提交 2026年5月30日

 (124 stars) (148 forks) (0 个已索引 issue) (0 个开放 good first issue)

Evaluate and Enhance Your LLM Deployments for Real-World Inference Needs

最近提交 2026年5月22日

 (1,166 stars) (156 forks) (0 个已索引 issue) (0 个开放 good first issue)

Common recipes to run vLLM

最近提交 2026年6月7日

 (833 stars) (292 forks) (0 个已索引 issue) (0 个开放 good first issue)

System Level Intelligent Router for Mixture-of-Models at Cloud, Data Center and Edge

最近提交 2026年6月8日

 (4,293 stars) (699 forks) (0 个已索引 issue) (0 个开放 good first issue)

TPU inference for vLLM, with unified JAX and PyTorch support.

最近提交 2026年6月7日

 (348 stars) (205 forks) (5 个已索引 issue) (5 个开放 good first issue)

A high-throughput and memory-efficient inference and serving engine for LLMs

最近提交 2026年5月15日

 (80,034 stars) (16,816 forks) (61 个已索引 issue) (46 个开放 good first issue)

Community maintained hardware plugin for vLLM on Ascend

最近提交 2026年6月2日

 (2,180 stars) (1,318 forks) (5 个已索引 issue) (4 个开放 good first issue)

Manages vllm-nccl dependency

最近提交 2024年6月3日

 (18 stars) (3 forks) (0 个已索引 issue) (0 个开放 good first issue)

A framework for efficient model inference with omni-modality models

最近提交 2026年6月8日

 (4,990 stars) (1,067 forks) (0 个已索引 issue) (0 个开放 good first issue)

最近提交 2026年6月5日

 (43 stars) (101 forks) (0 个已索引 issue) (0 个开放 good first issue)