[Doc]: Online benchmark server limit is smaller than the sample workload
维护者通常 1 天内回复
评估
- 难度
- 1/5
- 预计耗时
- 1 小时以内
- 新手友好度
- 84/100
- Issue 类型
- 文档
- 描述清晰度
- 描述清楚
- 活跃度
- 活跃
- 技术栈
- python
调研方向
阅读docs/source/commands/trtllm-serve/run-benchmark-with-trtllm-serve.md，并根据文档中记录的isl=1024和osl=1024工作负载检查服务器的--max_seq_len。报告建议将示例值提高到4096；当指南中的服务器容量能够满足这两个长度，并且示例能够生成图示输出时，工作即告完成。
由索引模型根据 Issue 内容生成。
描述
📚 The doc issue
The online benchmarking guide starts trtllm-serve with --max_seq_len 1024, then configures its client with isl=1024 and osl=1024.
The workload needs 2048 tokens per sequence. In executor/base_worker.py, the available generation budget is max_seq_len - prompt_length; a 1024-token prompt therefore leaves no generation room with the documented server setting. This prevents the example from producing its illustrated 1024-token output even with --ignore-eos.
Suggest a potential alternative/fix
Increase the example's --max_seq_len to 4096 so it covers both the input and output lengths, with room for tokenization overhead.
Before submitting a new issue...
- I searched the relevant issues, documentation, and examples. #17249 discusses early EOS; this report concerns the server's total sequence capacity.
- 主要语言
- Python
- 星标
- 15k
- 派生
- 2.9k
- 平均合并
- 2 天 22 小时
- 30 天内合并 PR
- 443
环境准备
在浏览器里用你自己的 GitHub 账号启动这个项目的开发容器。
- 没有 Dockerfile 或 Docker Compose 文件
- 有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
NVIDIA/TensorRT-LLM 的其他 Issue
-
[Bug]: AutoTuner load_cache crashes on a non-string tactic entry: warning_once(key=<list>) raises TypeError: unhashable type可能已有人在做 @Gloria72 于 3 天前认领。 未关闭Customized kernels
难度 2/5 1-3 小时 新手友好度 78/100
NVIDIA/TensorRT-LLM#21218 · 2 条评论 ·
维护者通常 1 天内回复
-
LLM API
难度 2/5 1-3 小时 新手友好度 75/100
NVIDIA/TensorRT-LLM#20647 · 1 条评论 ·
维护者通常 1 天内回复
-
[Bug]: trtllm-gen FMHA CudaArchDecl.h numbers Sm107a as 4, but the prebuilt libTrtLlmGen archives use 4 for 105a and 5 for 107a可能已有人在做 @lucifer1004 于 15 天前认领。 未关闭Customized kernels
难度 2/5 1-3 小时 新手友好度 68/100
NVIDIA/TensorRT-LLM#20507 · 1 条评论 ·
维护者通常 1 天内回复
-
[Performance]: Beam search re-materializes Result.output_token_ids from pybind once per beam可能已有人在做 关联的 PR 仍在进行中或已合并。 未关闭General perf
难度 2/5 1-3 小时 新手友好度 72/100
NVIDIA/TensorRT-LLM#20236 ·
维护者通常 1 天内回复
-
[Bug] Static disaggregated worker addresses cannot round trip bracketed IPv6可能已有人在做 @bojiang-li 于 20 天前认领。 未关闭Disaggregated serving
难度 2/5 1-3 小时 新手友好度 76/100
NVIDIA/TensorRT-LLM#20126 · 1 条评论 ·
维护者通常 1 天内回复
查看 NVIDIA/TensorRT-LLM 的全部 Issue
相似的 Issue
-
难度 2/5 1-3 小时 新手友好度 75/100
sususweet/midea_auto_cloud#285 ·
维护者通常 1 天内回复
-
Short positive Table maxlen values produce oversized cells可能已有人在做 @Gambit-Checkmate 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 72/100
维护者通常 18 天内回复
-
难度 1/5 1-3 小时 新手友好度 68/100
MangasMango/bound-to-rot#41 · 1 条评论 ·
-
breaking change
难度 2/5 1-3 小时 新手友好度 82/100
维护者通常 1 天内回复
-
难度 1/5 1 小时以内 新手友好度 68/100
dwyl/english-words#244 ·