[Feature Request] Open-source training / fine-tuning scripts for MiniCPM-RobotManip
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 30/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Da chiarire
- Stato di attività
- Tranquilla
- Stack tecnologico
- python
- Ambito
- machine-learning, robotics
Direzione di ricerca
Inizia con vla_infer.py e il relativo embodiment_id, action_head.max_num_embodiments, STATE_DIM=80 e la forma dell’azione (30, 80). Un contributo completo dovrebbe definire i punti di ingresso per il training o il fine-tuning, la registrazione di nuovi embodiments, il formato dei dati previsto e indicazioni sulla quantità di dimostrazioni; nell’issue non sono indicati file di training o test.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
We are trying to adapt MiniCPM-RobotManip to a new robot arm for a specific manipulation task. The inference side is clear — vla_infer.py exposes the embodiment_id interface and action_head.max_num_embodiments for multi-embodiment support. However, the current repository only includes inference code; no training or fine-tuning scripts are provided for RobotManip.
Questions
-
Fine-tuning scripts: Is there a plan to open-source the training/fine-tuning code for MiniCPM-RobotManip? Even a minimal script covering data loading, optimizer setup, and checkpoint saving would be very helpful.
-
New embodiment registration: What is the recommended workflow for adding a new
embodiment_idbeyond the ones already in the released weights? Does this require retraining from scratch, or is there a fine-tuning path that only updates the action head for the new embodiment? -
Data format: Could you document or provide a sample of the training data format expected by RobotManip (state shape, action shape, image resolution, etc.)? The inference script implies
STATE_DIM = 80and action shape(30, 80), but the mapping from real robot joints to this 80-dim space is unclear. -
Data quantity guidance: Are there any ablation results or rule-of-thumb recommendations for how many demonstration episodes are needed to fine-tune on a new embodiment/task?
Any pointers — even a rough timeline or a link to an internal script — would be greatly appreciated. Thank you for the great work on this project!
- Lingua principale
- Python
- Stelle
- 361
- Fork
- 29
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di OpenBMB/MiniCPM-Robot
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 38/100
OpenBMB/MiniCPM-Robot#11 · 2 commenti ·
Tutte le issue di OpenBMB/MiniCPM-Robot
Issue simili
-
changelog investigate
Difficoltà 2/5 1-3 ore Idoneità per principianti 67/100
ramnes/notion-sdk-py#433 ·
-
docs pkg:core
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 84/100
pydantic/pydantic-ai#11929 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
intake/intake-esm#789 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
MemMachine/MemMachine#1877 ·
I maintainer di solito rispondono entro 3 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
openedx/openedx-authz#579 ·
I maintainer di solito rispondono entro 1 giorno