Examples have no systematic test coverage; GPU example tests must be hand-registered

Đang mở
  • Có gì không ổn?
#880 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
35/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Ít trao đổi
Công nghệ
bash, cmake, docker, dockerfile, python
Lĩnh vực
build-system, devops, testing-qa

Hướng nghiên cứu

Bắt đầu với scripts/run_tests_with_cloudxr.sh, deps/cloudxr/Dockerfile.test, các mục kiểm thử ví dụ của CMake và phần thảo luận về PR #879. Truy tìm cách CXR_PYTHON_GPU_TESTS và việc sao chép hardcoded examples/oxr/python/ hoạt động, sau đó so sánh các quy ước của camera_viz và oxr. Được xem là hoàn tất khi các kiểm thử ví dụ có thể được phát hiện hoặc được xử lý một cách rõ ràng, các ví dụ chưa được build nhận được các bước kiểm tra, và quy ước được ghi lại.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Problem

There is no systematic way to test an example, and no convention for where an example test belongs. Examples are separate uv projects, so nothing in a normal build imports or runs them — an example can drift away from the library beside it and only fail when a user runs it. That is not hypothetical: mcap_record_replay and deviceio_live_view shipped pinned to isaacteleop==1.3.9rc1 and every script died on ImportError: cannot import name 'BodyJointIndex' before it started.

Survey of examples/ (15 examples)

State Examples
Tests that run teleop_ros2 (C++ integration tests + topic verifier in the ROS2 CI job — the only real end-to-end coverage), camera_viz (3 pytest files via ctest, but behind if(BUILD_VIZ)), oxr (3 python + 2 C++ via run_tests_with_cloudxr.sh), native_openxr (xdev_list, same script)
No tests at all haptic_feedback, retargeting, teleop, teleop_session_manager, schemaio, cloudxr_mujoco_teleop, lerobot, noitom, oglo_tactile
Not built by CMake at all teleop, cloudxr_mujoco_teleop, lerobot, noitom, oglo_tactile — nothing compiles or imports them in CI

Orphaned tests. examples/oxr/python/ holds nine test_*.py; only three are listed in CXR_PYTHON_GPU_TESTS. These six are copied into the test container by Dockerfile.test and then never invoked:

  • test_controller_tracker.py
  • test_full_body_tracker.py
  • test_hand_inactive_on_plugin_stop.py
  • test_oak_camera.py
  • test_session_sharing.py
  • test_synthetic_hands.py

Why it keeps happening

  1. GPU/runtime tests are hand-registered in a bash array in scripts/run_tests_with_cloudxr.sh. Nothing discovers them, so adding a file next to nine others silently does nothing — which is how six accumulated.
  2. The container only sees one example. deps/cloudxr/Dockerfile.test hardcodes COPY examples/oxr/python/ /app/tests/, so no other example's tests can reach the CloudXR runtime without editing the Dockerfile.
  3. No home for non-GPU example tests. camera_viz puts them in tests/ with its own pyproject; oxr puts them beside the scripts. Neither is documented as the convention.

What would fix it

  • Discover GPU example tests instead of listing them, and generalise the COPY so any example can contribute tests to the CloudXR container.
  • Pick one convention for headless example tests (ctest entry + uv run --no-project, isaacteleop from the build tree on PYTHONPATH) and document it.
  • Decide the six orphans' fate: wire them up or delete them.
  • Give the five unbuilt examples at least an import/lint check so they cannot silently rot.

Starting point for the headless half: PR #879 discussion.

Ngôn ngữ chính
Python
Star
425
Fork
101
Merge trung bình
1 ngày 9 giờ
Pull request đã merge (30 ngày)
156

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của NVIDIA/IsaacCapture

Tất cả issue của NVIDIA/IsaacCapture

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.