Publish VLLM and SGLANG configs where possible / 尽可能同时发布 vLLM 和 SGLang 配置
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
- 难度
- 5/5
- 预计耗时
- 一周以上
- 新手友好度
- 32/100
- Issue 类型
- 功能
- 描述清晰度
- 需要澄清
- 活跃度
- 冷清
- 技术栈
- python
调研方向
Start by locating how benchmark configurations and results are defined for the existing vLLM or SGLang runs. Compare the available model and hardware cases, then determine what is needed to publish both frameworks and how settings such as disable_prefix_cache=True should be handled. Done means the project has an agreed, repeatable policy and corresponding benchmark coverage.
由索引模型根据 Issue 内容生成。
描述
All the benchmarks have either VLLM or sglang but not both. I assume this is to avoid twitter fights. I think a lot of people at labs like me are on a fork of one and spend some energy trying to translate one to the other, often poorly. I think it would be great for the community if you published both numbers (or at least encouraged it). Clearly this effort has sparked AMD to do a lot more useful shit so I think it VLLM v sglang competition would also probably be good for the community. I would also not allow disable_prefix_cache=True type things but I feel less strongly about that. I also think from VLLM and SGLANG people twitter wars, the fights are not that bad (more publicity) and could actually be resolved more gracefully on this platform.
中文说明
建议为每个模型/硬件配置同时发布 vLLM 和 SGLang 两套基准测试结果，而非仅选择其中一个框架。这有助于社区用户（尤其是使用其中一个框架分支的实验室）更好地对比两者性能，也能促进框架间的良性竞争。同时建议禁止 disable_prefix_cache=True 等不公平配置。
- 主要语言
- Python
- 星标
- 1.9k
- 派生
- 343
- 平均合并
- 2 天 40 分钟
- 30 天内合并 PR
- 431
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
SemiAnalysisAI/InferenceX 的其他 Issue
-
难度 2/5 1-3 小时 新手友好度 68/100
SemiAnalysisAI/InferenceX#2125 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 68/100
SemiAnalysisAI/InferenceX#1587 ·
维护者通常 1 天内回复
-
[experimental chore/agentx-v0.2-aiperf-testing branch] agentic build_replay_cmd: missing --tokenizer-trust-remote-code breaks Kimi-K2.5 (and other custom-code tokenizer models) / agentic build_replay_cmd 缺少 --tokenizer-trust-remote-code 导致 Kimi-K2.5 等自定义 tokenizer 模型失败可能重新可做 @sahil-bhatti-ai 于 172 天前认领，目前没有进行中的 PR。 未关闭
难度 1/5 1 小时以内 新手友好度 78/100
SemiAnalysisAI/InferenceX#1369 · 3 条评论 ·
维护者通常 1 天内回复
-
难度 1/5 1-3 小时 新手友好度 76/100
SemiAnalysisAI/InferenceX#1359 · 1 条评论 ·
维护者通常 1 天内回复
-
难度 2/5 1 小时以内 新手友好度 18/100
SemiAnalysisAI/InferenceX#4655 · 3 条评论 ·
维护者通常 1 天内回复
查看 SemiAnalysisAI/InferenceX 的全部 Issue
相似的 Issue
-
难度 2/5 1-3 小时 新手友好度 72/100
维护者通常 1 天内回复
-
enhancement good first issue
难度 2/5 1-3 小时 新手友好度 78/100
elviskahoro/sdk-python-attio#144 · 1 条评论 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 84/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 72/100
维护者通常 1 天内回复
-
RenyiELBO raises TypeError when model has no sample sites可能已有人在做 @alibb007 今天认领。 未关闭
难度 1/5 1 小时以内 新手友好度 85/100
维护者通常 1 天内回复