Validation probe MSE includes padded robot and tactile action elements

Aperta
#80 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
25/100
Tipo di issue
Bug
Chiarezza
Specificata chiaramente
Stato di attività
Attiva
Stack tecnologico
python

Direzione di ricerca

The issue names rho/training/validation_probe.py and splits the work across PRs #81, #82, and #83, which already cover the validation robot-action, training robot-action, and tactile comparisons. Start by reviewing those PRs and the probe's existing tests to understand the shared valid-element reducer and mask handling. Done means covering mixed batch sizes, optional and padding masks, and real ValidationProbe execution, while preserving unmasked results and omitting metrics with no valid elements.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Problem

rho/training/validation_probe.py reports action and tactile MSE over complete action tensors, including artificial timesteps and dimensions marked by *_is_pad and *_dim_is_pad. Both validation metrics and the optional training comparison are affected.

A four-step action chunk with one correct genuine timestep and three padded timesteps predicted as 100 reports validation_action_mse = 7500; the valid-element MSE is 0. Similar padding can bias the training and tactile comparisons.

Fix and coverage

Split the change into three independently testable PRs:

  1. PR #81 masks validation robot-action MSE and adds a shared valid-element reducer.
  2. PR #82 masks the training robot-action comparison.
  3. PR #83 masks both tactile-action comparisons using tactile-specific masks.

Preserve the old result when masks are absent. Average over genuinely valid elements, not the padded tensor size. Omit metrics with no valid elements rather than reporting a misleading zero or NaN. Include mixed batch sizes, optional masks, temporal and dimension padding, and real ValidationProbe execution.

The probe's plotted trajectories and the policy's training loss are outside this issue.

Lingua principale
Python
Stelle
38
Fork
6
Merge medio
2g 9h
PR unite (30g)
20

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di microsoft/rhobotics

Tutte le issue di microsoft/rhobotics

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.