Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

[Feature Request] Supported Unity/Android client path for a native Meta Quest robot teleoperation app

Đang mở
  • Có gì không ổn?
#784 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
25/100
Loại issue
Tính năng
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Ít trao đổi
Công nghệ
android, unity
Lĩnh vực
mobile, robotics

Hướng nghiên cứu

Bắt đầu bằng cách xem xét browser client hiện có và workflow examples/isaac_teleop_to_so101, cùng với tài liệu CloudXR.js được tham chiếu. Xác định xem có client path Unity/Android được hỗ trợ cho CloudXR Runtime 6.x và Isaac Teleop hay không. Công việc được xem là hoàn tất khi có một native Quest path được ghi lại trong tài liệu hoặc được một ví dụ hỗ trợ, bao quát streaming, các thao tác của controller, các chế độ xem camera của robot và ngắt kết nối an toàn.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Is your feature request related to a problem? Please describe.

I would like to build a native Unity/OpenXR application for the Meta Quest Store that allows users to:

  • view low-latency live video from a real robot;
  • control the robot using Quest Touch controllers;
  • use clutch, gripper, stop/hold, and disconnect controls inside the application.

I have already successfully tested the following real-hardware workflow:

Quest 3S Touch Plus controllers
→ CloudXR Runtime 6.2.0
→ NVIDIA Isaac Teleop 1.3.131
→ LeRobot v0.6.0 official examples/isaac_teleop_to_so101 example
→ SO-101 Follower robot

Test system:

  • Ubuntu 24.04
  • NVIDIA RTX 4080
  • Quest 3S
  • SO-101 robot arm

The Quest controller poses and buttons reached the Ubuntu host correctly. Grip/Squeeze worked as the clutch, Trigger controlled the gripper, and the SO-101 followed the controller successfully.

The existing browser client is excellent for validating the workflow. However, for an application that can be distributed through the Meta Quest Store, I need a native Unity/Android client with its own UI, connection flow, camera layout, robot selection, and safe-disconnection behavior.

My understanding is that the current CloudXR 6.

https://github.com/user-attachments/assets/e5cf9dcf-1734-42d9-aee0-9f998278e5ad

x documentation supports Quest through CloudXR.js in the browser, but I could not find a supported, redistributable native Unity/Android client path compatible with CloudXR Runtime 6.x and Isaac Teleop.

Please correct me if an existing supported option already covers this use case.

Describe the solution you'd like

Ideally, NVIDIA would provide one of the following:

  1. A supported CloudXR Unity package or Android client SDK compatible with CloudXR Runtime 6.x; or
  2. A stable and documented client API, together with a minimal Unity/OpenXR sample.

The Quest client should ideally support:

  • receiving the low-latency streamed XR view;
  • displaying one or two real robot camera views;
  • sending HMD and Touch-controller poses and actions upstream;
  • Unity OpenXR integration;
  • connection, reconnection, latency, and streaming-quality status;
  • Grip-to-clutch and Trigger-to-gripper mappings;
  • a clear stop/hold state after clutch release or connection loss;
  • redistribution as part of a Meta Quest Store application.

A first MVP could be LAN-only:

Robot camera(s)
    → camera_viz / Televiz
    → CloudXR Runtime
    → Native Unity app on Quest

Quest controller poses and buttons
    → CloudXR
    → Isaac Teleop
    → LeRobot
    → SO-101
Ngôn ngữ chính
Python
Star
403
Fork
94
Merge trung bình
2 ngày 17 phút
Pull request đã merge (30 ngày)
121

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của NVIDIA/IsaacCapture

Tất cả issue của NVIDIA/IsaacCapture

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.