Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

Are some extrinsics wrong？

Abierto
  • ¿Algo no está bien?
#15 3 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
4/5
Tiempo estimado
3-5 días
Aptitud para principiantes
30/100
Tipo de issue
Error
Claridad
Bastante claro
Estado de actividad
Estancado
Stack tecnológico
python
Área
computer-vision, robotics

Línea de trabajo

Reproduce the projection with the dataset path droid_raw/1.0.1/AUTOLab/success/2023-07-08/Sat_Jul__8_08:57:28_2023 and the Rerun Python example, then compare the reported transforms with droid-dataset issue #64. Done means the extrinsic or mirroring problem is identified and the 2D annotations match the 3D arm view, with the relevant correction documented.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

Great work！
But when projecting the end effector onto a 2D image, I consistently observe some bias in certain examples. I suspect that the camera's extrinsic parameters are incorrect.
First, I read the camera intrinsics from the SVO file and the cartesian_position and camera extrinsics from trajectory.h5. I am certain that the issue is not caused by an inverse matrix. I used the following code to annotate the video:

#droid_raw/1.0.1/AUTOLab/success/2023-07-08/Sat_Jul__8_08:57:28_2023
...
extrinsic=np.eye(4)
extrinsic[:3,:3]=Rotation.from_euler("xyz", extrinsic1[3:]).as_matrix()
extrinsic[:3, 3] = extrinsic1[:3]
extrinsic=np.linalg.inv(extrinsic)

camera_cor=np.einsum("ij,nj->ni",extrinsic,traj)[:,:3]
image_cor=np.einsum("ij,nj->ni",intrinsic1,camera_cor)
image_cor=image_cor[:,:2]/image_cor[:,2:]

cap=...
width=int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
height=int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
out=FFmpegVideoWriter("test.mp4",30,width,height)
idx=0
while cap.isOpened():
    ret,frame=cap.read()
    if not ret:
        break
    frame=frame[:,:width,:]
    frame=cv2.circle(frame,(int(image_cor[idx,0]),int(image_cor[idx,1])),5,(0,0,255),-1)
    out.write(frame)
    idx+=1
out.release()
cap.release()

The resulting video shows that the annotated points are synchronized with the robotic arm's motion, but there is some spatial bias.

https://github.com/user-attachments/assets/b012b1be-b958-4510-83c9-f21b398a0b7d

Furthermore, I annotated the orientation of the cartesian_position coordinates (droid_raw/1.0.1/AUTOLab/success/2023-07-08/Sat_Jul__8_08:57:28_2023):

https://github.com/user-attachments/assets/19b5c1e3-6f52-4ba0-a023-ab360945e463

https://github.com/user-attachments/assets/8c0893ae-25e9-4075-8688-7df16bd072a4

I also visualized the dataset (droid_raw/1.0.1/AUTOLab/success/2023-07-08/Sat_Jul__8_08:57:28_2023) using rerun-io/python-example-droid-dataset: Visualizing the DROID dataset using Rerun (github.com). When I hover the mouse over the 3D robotic arm, the corresponding point in the 2D camera view is clearly incorrect.

Image Image

It's a mirror issue https://github.com/droid-dataset/droid/issues/64

Lenguaje dominante
Python
Estrellas
96
Forks
7
Sin PR fusionados en 30 d

Preparar el entorno

Aún no hemos revisado los archivos de configuración de este proyecto. Empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de rerun-io/python-example-droid-dataset

Todos los issues de rerun-io/python-example-droid-dataset

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.