conclude_performance() crashes when test_iterations is 1 or 2

Ouverte Adaptée aux débutants
#44 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

Évaluation

Difficulté
1/5
Temps estimé
Moins d'une heure
Accessibilité débutants
78/100
Type d'issue
Bug
Clarté
Clairement spécifiée
Activité
Active
Stack technique
python

Piste de recherche

Commence au bloc de rognage vers la ligne 201 de ros2_benchmark/ros2_benchmark/basic_performance_calculator.py dans conclude_performance(), et reprends la garde len(metric_value_list) > 2 déjà utilisée dans utils/nvidia_smi_profiler.py. Reproduis avec un rclpy factice et une ou deux itérations synthétiques passées par calculate_performance() puis conclude_performance(). Note que test/benchmark_pol.py utilise le mode TIMELINE et n'exerce donc jamais ce chemin. C'est terminé lorsque 1, 2 et 3 itérations remontent des métriques au lieu de lever une exception. Le rapporteur a proposé d'ouvrir une PR ; vérifie qu'il n'en existe pas déjà une avant de commencer.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

BasicPerformanceCalculator.conclude_performance() always drops the highest and the lowest value of each metric before averaging (ros2_benchmark/ros2_benchmark/basic_performance_calculator.py, around line 201):

# Remove the best and the worst before concluding the metric
metric_value_list.remove(max(metric_value_list))
metric_value_list.remove(min(metric_value_list))

With test_iterations: 1 or 2 there is nothing left after that, so the run fails at the very end, after all iterations have finished, and no results file is written:

  • test_iterations: 1 -> ValueError: min() arg is an empty sequence
  • test_iterations: 2 -> ZeroDivisionError: division by zero (for the mean metrics)
  • test_iterations: 3 and up work

This is hit in LOOPING (the default), SWEEPING and LIVE modes, which call conclude_performance() after the iteration loop in ros2_benchmark_test.py. TIMELINE mode does not call it, which is probably why test/benchmark_pol.py (TIMELINE, test_iterations=1) does not show it.

The resource side already handles this: utils/nvidia_smi_profiler.py only trims when len(metric_value_list) > 2.

To reproduce without ROS, load the module with a stub rclpy, feed one or two iterations of synthetic timestamps to calculate_performance(), then call conclude_performance():

1 FAIL ValueError min() arg is an empty sequence
2 FAIL ZeroDivisionError division by zero
3 ok 111.11

Expected: with one or two iterations, report the metrics over those iterations, same as the resource profiler does. Using the same > 2 guard here would fix it. I can open a small PR for that.

Langage dominant
Python
Étoiles
145
Forks
18
Merge moyen
1 min
PR mergées (30 j)
1

Préparer son environnement

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de NVIDIA-ISAAC-ROS/ros2_benchmark

Toutes les issues de NVIDIA-ISAAC-ROS/ros2_benchmark

Issues similaires

Plus d'issues Python

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.