リポジトリ

vllm-project のリポジトリ

This repo hosts code for vLLM CI & Performance Benchmark infrastructure.

最終コミット 2026年6月6日

 (42 stars) (68 forks) (0 件の索引済み issue) (0 件のオープンな good first issue)

Fast and memory-efficient exact attention

最終コミット 2026年5月30日

 (124 stars) (148 forks) (0 件の索引済み issue) (0 件のオープンな good first issue)

Evaluate and Enhance Your LLM Deployments for Real-World Inference Needs

最終コミット 2026年5月22日

 (1,166 stars) (156 forks) (0 件の索引済み issue) (0 件のオープンな good first issue)

Common recipes to run vLLM

最終コミット 2026年6月7日

 (833 stars) (292 forks) (0 件の索引済み issue) (0 件のオープンな good first issue)

System Level Intelligent Router for Mixture-of-Models at Cloud, Data Center and Edge

最終コミット 2026年6月8日

 (4,293 stars) (699 forks) (0 件の索引済み issue) (0 件のオープンな good first issue)

TPU inference for vLLM, with unified JAX and PyTorch support.

最終コミット 2026年6月7日

 (348 stars) (205 forks) (5 件の索引済み issue) (5 件のオープンな good first issue)

A high-throughput and memory-efficient inference and serving engine for LLMs

最終コミット 2026年5月15日

 (80,034 stars) (16,816 forks) (61 件の索引済み issue) (46 件のオープンな good first issue)

Community maintained hardware plugin for vLLM on Ascend

最終コミット 2026年6月2日

 (2,180 stars) (1,318 forks) (5 件の索引済み issue) (4 件のオープンな good first issue)

Manages vllm-nccl dependency

最終コミット 2024年6月3日

 (18 stars) (3 forks) (0 件の索引済み issue) (0 件のオープンな good first issue)

A framework for efficient model inference with omni-modality models

最終コミット 2026年6月8日

 (4,990 stars) (1,067 forks) (0 件の索引済み issue) (0 件のオープンな good first issue)

最終コミット 2026年6月5日

 (43 stars) (101 forks) (0 件の索引済み issue) (0 件のオープンな good first issue)