Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Are some extrinsics wrong？

Đang mở
  • Có gì không ổn?
#15 3 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
30/100
Loại issue
Lỗi
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Đình trệ
Công nghệ
python
Lĩnh vực
computer-vision, robotics

Hướng nghiên cứu

Reproduce the projection with the dataset path droid_raw/1.0.1/AUTOLab/success/2023-07-08/Sat_Jul__8_08:57:28_2023 and the Rerun Python example, then compare the reported transforms with droid-dataset issue #64. Done means the extrinsic or mirroring problem is identified and the 2D annotations match the 3D arm view, with the relevant correction documented.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Great work！
But when projecting the end effector onto a 2D image, I consistently observe some bias in certain examples. I suspect that the camera's extrinsic parameters are incorrect.
First, I read the camera intrinsics from the SVO file and the cartesian_position and camera extrinsics from trajectory.h5. I am certain that the issue is not caused by an inverse matrix. I used the following code to annotate the video:

#droid_raw/1.0.1/AUTOLab/success/2023-07-08/Sat_Jul__8_08:57:28_2023
...
extrinsic=np.eye(4)
extrinsic[:3,:3]=Rotation.from_euler("xyz", extrinsic1[3:]).as_matrix()
extrinsic[:3, 3] = extrinsic1[:3]
extrinsic=np.linalg.inv(extrinsic)

camera_cor=np.einsum("ij,nj->ni",extrinsic,traj)[:,:3]
image_cor=np.einsum("ij,nj->ni",intrinsic1,camera_cor)
image_cor=image_cor[:,:2]/image_cor[:,2:]

cap=...
width=int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
height=int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
out=FFmpegVideoWriter("test.mp4",30,width,height)
idx=0
while cap.isOpened():
    ret,frame=cap.read()
    if not ret:
        break
    frame=frame[:,:width,:]
    frame=cv2.circle(frame,(int(image_cor[idx,0]),int(image_cor[idx,1])),5,(0,0,255),-1)
    out.write(frame)
    idx+=1
out.release()
cap.release()

The resulting video shows that the annotated points are synchronized with the robotic arm's motion, but there is some spatial bias.

https://github.com/user-attachments/assets/b012b1be-b958-4510-83c9-f21b398a0b7d

Furthermore, I annotated the orientation of the cartesian_position coordinates (droid_raw/1.0.1/AUTOLab/success/2023-07-08/Sat_Jul__8_08:57:28_2023):

https://github.com/user-attachments/assets/19b5c1e3-6f52-4ba0-a023-ab360945e463

https://github.com/user-attachments/assets/8c0893ae-25e9-4075-8688-7df16bd072a4

I also visualized the dataset (droid_raw/1.0.1/AUTOLab/success/2023-07-08/Sat_Jul__8_08:57:28_2023) using rerun-io/python-example-droid-dataset: Visualizing the DROID dataset using Rerun (github.com). When I hover the mouse over the 3D robotic arm, the corresponding point in the 2D camera view is clearly incorrect.

Image Image

It's a mirror issue https://github.com/droid-dataset/droid/issues/64

Ngôn ngữ chính
Python
Star
96
Fork
7
Không có pull request nào được merge trong 30 ngày

Chuẩn bị môi trường

  • Có Dockerfile hoặc tệp Docker Compose
  • Không có mẫu pull request
  • Không có hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của rerun-io/python-example-droid-dataset

Tất cả issue của rerun-io/python-example-droid-dataset

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.