Code hangs during inference deployment with vLLM
还没有人认领这个 Issue。
评估
调研方向
从 vLLM 部署入口点以及日志中显示的 launcher.py 路由开始，然后使用报告的启动输出重现挂起问题。确定启动过程在“Application startup complete”之后停止的位置，并验证推理请求能够在不发生挂起的情况下完成。
由索引模型根据 Issue 内容生成。
描述
I encountered an issue where the code hangs during inference deployment with vLLM. How can I resolve this problem?
(APIServer pid=2311773) INFO 08-10 12:10:18 [launcher.py:46] Route: /v1/chat/completions/batch, Methods: POST
(APIServer pid=2311773) INFO 08-10 12:10:18 [launcher.py:57] Route: /v1/audio/speech/stream, Endpoint: streaming_speech
(APIServer pid=2311773) INFO 08-10 12:10:18 [launcher.py:57] Route: /v1/video/chat/stream, Endpoint: streaming_video_chat
(APIServer pid=2311773) INFO 08-10 12:10:18 [launcher.py:57] Route: /v1/realtime/video, Endpoint: streaming_video_output
(APIServer pid=2311773) INFO 08-10 12:10:18 [launcher.py:57] Route: /v1/realtime, Endpoint: realtime_websocket
(APIServer pid=2311773) INFO 08-10 12:10:18 [launcher.py:57] Route: /v1/realtime/robot/openpi, Endpoint: realtime_robot_openpi
(APIServer pid=2311773) INFO 08-10 12:10:18 [launcher.py:57] Route: /v1/duplex, Endpoint: duplex_websocket
(APIServer pid=2311773) INFO: Started server process [2311773]
(APIServer pid=2311773) INFO: Waiting for application startup.
(APIServer pid=2311773) INFO: Application startup complete.
- 主要语言
- Python
- 星标
- 9.8k
- 派生
- 738
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
这个项目没有提供开发容器、Dockerfile 或贡献指南，环境需要你自己搭建：先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
MiniMax-AI/MiniMax-H3 的其他 Issue
-
loss of init.py未关闭
难度 3/5 半天 新手友好度 15/100
MiniMax-AI/MiniMax-H3#92 · 1 条评论 ·
-
难度 5/5 一周以上 新手友好度 5/100
MiniMax-AI/MiniMax-H3#89 ·
-
难度 5/5 一周以上 新手友好度 5/100
MiniMax-AI/MiniMax-H3#88 ·
-
،her未关闭
难度 5/5 一周以上 新手友好度 10/100
MiniMax-AI/MiniMax-H3#87 ·
-
难度 5/5 一周以上 新手友好度 25/100
MiniMax-AI/MiniMax-H3#86 ·
查看 MiniMax-AI/MiniMax-H3 的全部 Issue
相似的 Issue
-
good first issue
难度 2/5 1-3 小时 新手友好度 85/100
btclib-org/btclib-node#1955 ·
维护者通常 1 天内回复
-
documentation v0.9.2
难度 2/5 半天 新手友好度 72/100
khuisman/mcp-gee-sweet#1033 ·
维护者通常 1 天内回复
-
bug
难度 2/5 1-3 小时 新手友好度 76/100
ossf/cve-bin-tool#5966 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 62/100
维护者通常 2 天内回复
-
write_iceberg ignores the table's write.parquet.compression-codec property可能已有人在做 @YuangGao 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 82/100
Eventual-Inc/Daft#7606 ·
维护者通常 1 天内回复