conclude_performance() crashes when test_iterations is 1 or 2
还没有人认领这个 Issue。
评估
- 难度
- 1/5
- 预计耗时
- 1 小时以内
- 新手友好度
- 78/100
- Issue 类型
- 缺陷
- 描述清晰度
- 描述清楚
- 活跃度
- 活跃
- 技术栈
- python
调研方向
从 ros2_benchmark/ros2_benchmark/basic_performance_calculator.py 中 conclude_performance() 内第 201 行附近的裁剪代码块开始,并沿用 utils/nvidia_smi_profiler.py 中已有的 len(metric_value_list) > 2 保护条件。使用桩化的 rclpy 以及一到两次合成迭代,依次经过 calculate_performance() 和 conclude_performance() 复现问题;注意 test/benchmark_pol.py 使用 TIMELINE 模式,因此从不执行这条路径。完成标准是 1、2、3 次迭代都能报告指标而不抛出异常。报告者已表示愿意提交 PR,开始前请先确认是否已有 PR。
由索引模型根据 Issue 内容生成。
描述
BasicPerformanceCalculator.conclude_performance() always drops the highest and the lowest value of each metric before averaging (ros2_benchmark/ros2_benchmark/basic_performance_calculator.py, around line 201):
# Remove the best and the worst before concluding the metric
metric_value_list.remove(max(metric_value_list))
metric_value_list.remove(min(metric_value_list))
With test_iterations: 1 or 2 there is nothing left after that, so the run fails at the very end, after all iterations have finished, and no results file is written:
test_iterations: 1->ValueError: min() arg is an empty sequencetest_iterations: 2->ZeroDivisionError: division by zero(for the mean metrics)test_iterations: 3and up work
This is hit in LOOPING (the default), SWEEPING and LIVE modes, which call conclude_performance() after the iteration loop in ros2_benchmark_test.py. TIMELINE mode does not call it, which is probably why test/benchmark_pol.py (TIMELINE, test_iterations=1) does not show it.
The resource side already handles this: utils/nvidia_smi_profiler.py only trims when len(metric_value_list) > 2.
To reproduce without ROS, load the module with a stub rclpy, feed one or two iterations of synthetic timestamps to calculate_performance(), then call conclude_performance():
1 FAIL ValueError min() arg is an empty sequence
2 FAIL ZeroDivisionError division by zero
3 ok 111.11
Expected: with one or two iterations, report the metrics over those iterations, same as the resource profiler does. Using the same > 2 guard here would fix it. I can open a small PR for that.
- 主要语言
- Python
- 星标
- 145
- 派生
- 18
- 平均合并
- 1 分钟
- 30 天内合并 PR
- 1
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 没有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue,再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库,在一个分支上完成修改。
- 提交 Pull Request,并在描述里引用这个 Issue 编号。
NVIDIA-ISAAC-ROS/ros2_benchmark 的其他 Issue
-
难度 4/5 3-5 天 新手友好度 35/100
查看 NVIDIA-ISAAC-ROS/ros2_benchmark 的全部 Issue
相似的 Issue
-
hive size:simple
难度 2/5 1-3 小时 新手友好度 78/100
维护者通常 1 天内回复
-
A new VOLTTRON_HOME starts with agent isolation mode on (string comparison of a boolean default)未关闭
难度 2/5 1-3 小时 新手友好度 68/100
-
难度 2/5 1-3 小时 新手友好度 70/100
painted-porch/marcus#977 ·
维护者通常 1 天内回复
-
llm translation
难度 2/5 1-3 小时 新手友好度 82/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 78/100
FAIRmat-NFDI/sand#239 ·
维护者通常 1 天内回复