Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

[Feature Request] Supported Unity/Android client path for a native Meta Quest robot teleoperation app

Aperta
  • Qualcosa non va?
#784 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
25/100
Tipo di issue
Funzionalità
Chiarezza
Da chiarire
Stato di attività
Tranquilla
Stack tecnologico
android, unity
Ambito
mobile, robotics

Direzione di ricerca

Inizia esaminando il client browser esistente e il workflow examples/isaac_teleop_to_so101, insieme alla documentazione di CloudXR.js indicata. Determina se esiste un percorso client Unity/Android supportato per CloudXR Runtime 6.x e Isaac Teleop. Il lavoro sarebbe completo se esistesse un percorso nativo Quest documentato o supportato da un esempio, che copra lo streaming, le azioni dei controller, le viste della telecamera del robot e la disconnessione sicura.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Is your feature request related to a problem? Please describe.

I would like to build a native Unity/OpenXR application for the Meta Quest Store that allows users to:

  • view low-latency live video from a real robot;
  • control the robot using Quest Touch controllers;
  • use clutch, gripper, stop/hold, and disconnect controls inside the application.

I have already successfully tested the following real-hardware workflow:

Quest 3S Touch Plus controllers
→ CloudXR Runtime 6.2.0
→ NVIDIA Isaac Teleop 1.3.131
→ LeRobot v0.6.0 official examples/isaac_teleop_to_so101 example
→ SO-101 Follower robot

Test system:

  • Ubuntu 24.04
  • NVIDIA RTX 4080
  • Quest 3S
  • SO-101 robot arm

The Quest controller poses and buttons reached the Ubuntu host correctly. Grip/Squeeze worked as the clutch, Trigger controlled the gripper, and the SO-101 followed the controller successfully.

The existing browser client is excellent for validating the workflow. However, for an application that can be distributed through the Meta Quest Store, I need a native Unity/Android client with its own UI, connection flow, camera layout, robot selection, and safe-disconnection behavior.

My understanding is that the current CloudXR 6.

https://github.com/user-attachments/assets/e5cf9dcf-1734-42d9-aee0-9f998278e5ad

x documentation supports Quest through CloudXR.js in the browser, but I could not find a supported, redistributable native Unity/Android client path compatible with CloudXR Runtime 6.x and Isaac Teleop.

Please correct me if an existing supported option already covers this use case.

Describe the solution you'd like

Ideally, NVIDIA would provide one of the following:

  1. A supported CloudXR Unity package or Android client SDK compatible with CloudXR Runtime 6.x; or
  2. A stable and documented client API, together with a minimal Unity/OpenXR sample.

The Quest client should ideally support:

  • receiving the low-latency streamed XR view;
  • displaying one or two real robot camera views;
  • sending HMD and Touch-controller poses and actions upstream;
  • Unity OpenXR integration;
  • connection, reconnection, latency, and streaming-quality status;
  • Grip-to-clutch and Trigger-to-gripper mappings;
  • a clear stop/hold state after clutch release or connection loss;
  • redistribution as part of a Meta Quest Store application.

A first MVP could be LAN-only:

Robot camera(s)
    → camera_viz / Televiz
    → CloudXR Runtime
    → Native Unity app on Quest

Quest controller poses and buttons
    → CloudXR
    → Isaac Teleop
    → LeRobot
    → SO-101
Lingua principale
Python
Stelle
393
Fork
93
Merge medio
2g 5h
PR unite (30g)
95

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di NVIDIA/IsaacCapture

Tutte le issue di NVIDIA/IsaacCapture

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.