リポジトリ

vllm-project のリポジトリ

11 件の対応リポジトリ

This repo hosts code for vLLM CI & Performance Benchmark infrastructure.

最終コミット 2026/06/06

 (42 stars) (68 forks) (0 件の索引済み issue) (0 件のオープンな good first issue)

Fast and memory-efficient exact attention

最終コミット 2026/05/30

 (124 stars) (148 forks) (0 件の索引済み issue) (0 件のオープンな good first issue)

Evaluate and Enhance Your LLM Deployments for Real-World Inference Needs

最終コミット 2026/05/22

 (1,166 stars) (156 forks) (0 件の索引済み issue) (0 件のオープンな good first issue)

Common recipes to run vLLM

最終コミット 2026/06/07

 (833 stars) (292 forks) (0 件の索引済み issue) (0 件のオープンな good first issue)

System Level Intelligent Router for Mixture-of-Models at Cloud, Data Center and Edge

最終コミット 2026/06/08

 (4,293 stars) (699 forks) (145 件の索引済み issue) (129 件のオープンな good first issue)

TPU inference for vLLM, with unified JAX and PyTorch support.

最終コミット 2026/08/24

 (412 stars) (292 forks) (5 件の索引済み issue) (5 件のオープンな good first issue)

A high-throughput and memory-efficient inference and serving engine for LLMs

最終コミット 2026/05/15

 (80,034 stars) (16,816 forks) (61 件の索引済み issue) (41 件のオープンな good first issue)

Community maintained hardware plugin for vLLM on Ascend

最終コミット 2026/08/24

 (2,689 stars) (2,101 forks) (80 件の索引済み issue) (77 件のオープンな good first issue)

Manages vllm-nccl dependency

最終コミット 2024/06/03

 (18 stars) (3 forks) (0 件の索引済み issue) (0 件のオープンな good first issue)

A framework for efficient model inference with omni-modality models

最終コミット 2026/06/08

 (4,990 stars) (1,067 forks) (153 件の索引済み issue) (133 件のオープンな good first issue)

最終コミット 2026/06/05

 (43 stars) (101 forks) (0 件の索引済み issue) (0 件のオープンな good first issue)