Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

[vLLM] Missing --max-model-len guard for offload-disabled agentic runs causes KV cache OOM on H100 / [vLLM] 禁用 offload 的 agentic 运行缺少 --max-model-len 保护导致 H100 上 KV 缓存 OOM

Đang mở Phù hợp với người mới
  • Có gì không ổn?
#1,587 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
2/5
Thời gian dự kiến
1-3 giờ
Mức phù hợp với người mới
68/100
Loại issue
Lỗi
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Ít trao đổi
Công nghệ
python
Lĩnh vực
machine-learning

Hướng nghiên cứu

Bắt đầu với benchmarks/single_node/agentic/kimik2.5_int4_h100.sh ở dòng 4 và .github/configs/nvidia-master.yaml ở dòng 9195, sau đó tái hiện lần khởi chạy khi offload bị vô hiệu hóa và không có --max-model-len. Cập nhật cách xử lý khởi chạy để server tránh được lỗi khởi động KV-cache đã báo cáo, và xác minh rằng benchmark khởi động thành công trên cấu hình 8×H100 được nêu.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Describe the bug
When running Kimi-K2.5 INT4 agentic benchmarks with vLLM on 8×H100 (TP=8) without CPU offloading, the engine crashes immediately at startup due to insufficient KV cache memory. The server never starts and all TP workers are terminated.

https://github.com/SemiAnalysisAI/InferenceX/blob/c9798a7708826dd4ead79acad4500000f72d5576/benchmarks/single_node/agentic/kimik2.5_int4_h100.sh#L4

It is triggered in the master file here.
https://github.com/SemiAnalysisAI/InferenceX/blob/c9798a7708826dd4ead79acad4500000f72d5576/.github/configs/nvidia-master.yaml#L9195

To Reproduce

  1. Launch a vLLM agentic benchmark for Kimi-K2.5 INT4 on 8×H100 with TP=8
  2. Set offloading to none (no CPU KV cache offloading)
  3. Do not set --max-model-len in the vllm serve command
  4. Observe engine crash at startup

Expected behavior
The vLLM server should start successfully and serve agentic requests. Either the launch script should cap --max-model-len to a value that fits in available VRAM when offloading is disabled, or the error
should be surfaced earlier with a clear recommendation.

Screenshots
N/A

Additional context
Root cause: without --max-model-len, vLLM defaults to the model's full context length (262,144 tokens), which requires 8.58 GiB of KV cache. On 8×H100 with TP=8, after loading the INT4 weights, only ~0.9 GiB
of VRAM remains for KV cache.

Error

ValueError: To serve at least one request with the model's max seq len (262144),
(8.58 GiB KV cache is needed, which is larger than the available KV cache memory
(0.9 GiB). Based on the available memory, the estimated maximum model length is 27392.
Try increasing gpu_memory_utilization or decreasing max_model_len when initializing
the engine.

中文说明

在 8×H100（TP=8）上使用 vLLM 运行 Kimi-K2.5 INT4 agentic 基准测试时，未启用 CPU offloading 且未设置 --max-model-len，导致 vLLM 默认使用模型完整上下文长度（262,144 tokens），所需 KV 缓存（8.58 GiB）超过加载 INT4 权重后的可用显存（约 0.9 GiB），引擎启动时立即崩溃。应在启动脚本中为禁用 offloading 的运行设置 --max-model-len 上限。

Ngôn ngữ chính
Python
Star
1.9k
Fork
343
Merge trung bình
2 ngày 40 phút
Pull request đã merge (30 ngày)
431

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của SemiAnalysisAI/InferenceX

Tất cả issue của SemiAnalysisAI/InferenceX

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.