Hacktoberfest 2026：メンテナが10月に向けて印を付けた、オープンで初心者向けの issue。 Hacktoberfest の issue を見る

[Feature Request] Supported Unity/Android client path for a native Meta Quest robot teleoperation app

オープン
  • 何か問題がありますか？
#784 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る

メンテナーはふだん 1 日以内に返信

まだ誰も着手していません。

評価

難易度
5/5
見積もり時間
1週間以上
初心者へのやさしさ
25/100
issue の種類
機能追加
明瞭さ
説明が足りない
活発さ
静か
技術スタック
android, unity
領域
mobile, robotics

調査の方向性

まず、既存のブラウザクライアントと examples/isaac_teleop_to_so101 ワークフロー、および参照されている CloudXR.js ドキュメントを確認します。CloudXR Runtime 6.x と Isaac Teleop 向けに、サポートされている Unity/Android クライアントの経路が存在するかどうかを判断します。ストリーミング、コントローラー操作、ロボットカメラのビュー、安全な切断をカバーする、文書化された、またはサンプルでサポートされたネイティブ Quest 経路があれば完了とします。

索引モデルが issue の本文から書いたものです。

説明

Is your feature request related to a problem? Please describe.

I would like to build a native Unity/OpenXR application for the Meta Quest Store that allows users to:

  • view low-latency live video from a real robot;
  • control the robot using Quest Touch controllers;
  • use clutch, gripper, stop/hold, and disconnect controls inside the application.

I have already successfully tested the following real-hardware workflow:

Quest 3S Touch Plus controllers
→ CloudXR Runtime 6.2.0
→ NVIDIA Isaac Teleop 1.3.131
→ LeRobot v0.6.0 official examples/isaac_teleop_to_so101 example
→ SO-101 Follower robot

Test system:

  • Ubuntu 24.04
  • NVIDIA RTX 4080
  • Quest 3S
  • SO-101 robot arm

The Quest controller poses and buttons reached the Ubuntu host correctly. Grip/Squeeze worked as the clutch, Trigger controlled the gripper, and the SO-101 followed the controller successfully.

The existing browser client is excellent for validating the workflow. However, for an application that can be distributed through the Meta Quest Store, I need a native Unity/Android client with its own UI, connection flow, camera layout, robot selection, and safe-disconnection behavior.

My understanding is that the current CloudXR 6.

https://github.com/user-attachments/assets/e5cf9dcf-1734-42d9-aee0-9f998278e5ad

x documentation supports Quest through CloudXR.js in the browser, but I could not find a supported, redistributable native Unity/Android client path compatible with CloudXR Runtime 6.x and Isaac Teleop.

Please correct me if an existing supported option already covers this use case.

Describe the solution you'd like

Ideally, NVIDIA would provide one of the following:

  1. A supported CloudXR Unity package or Android client SDK compatible with CloudXR Runtime 6.x; or
  2. A stable and documented client API, together with a minimal Unity/OpenXR sample.

The Quest client should ideally support:

  • receiving the low-latency streamed XR view;
  • displaying one or two real robot camera views;
  • sending HMD and Touch-controller poses and actions upstream;
  • Unity OpenXR integration;
  • connection, reconnection, latency, and streaming-quality status;
  • Grip-to-clutch and Trigger-to-gripper mappings;
  • a clear stop/hold state after clutch release or connection loss;
  • redistribution as part of a Meta Quest Store application.

A first MVP could be LAN-only:

Robot camera(s)
    → camera_viz / Televiz
    → CloudXR Runtime
    → Native Unity app on Quest

Quest controller poses and buttons
    → CloudXR
    → Isaac Teleop
    → LeRobot
    → SO-101
主要言語
Python
スター
403
フォーク
94
平均マージ
2日 17分
マージ済み PR（30日）
121

環境構築

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

NVIDIA/IsaacCapture のほかの issue

NVIDIA/IsaacCapture の issue をすべて見る

似ている issue

Python の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。