Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

DANDI validation rejects Zarr v3 string arrays

Đang mở
  • Có gì không ổn?
#1,918 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
3/5
Thời gian dự kiến
1-2 ngày
Mức phù hợp với người mới
70/100
Loại issue
Lỗi
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
numpy, python
Lĩnh vực
cli, data

Hướng nghiên cứu

Bắt đầu từ điểm vào _ts_validate_zarr3 và tái hiện lỗi bằng ví dụ mảng chuỗi Zarr v3 được cung cấp, sau đó chạy dandi validate strings.zarr. Theo dõi cách quá trình validation xử lý string dtype được báo cáo và so sánh nó với các mảng mà Zarr-Python có thể đọc. Công việc được hoàn tất khi các mảng chuỗi được validation thành công, đồng thời các kiểm tra mảng số và mảng boolean hiện có vẫn tiếp tục đạt.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

I converted an IBL session while testing hdmf-zarr's v3 migration and tried uploading it to sandbox dandiset 218696. dandi upload stopped at validation:

[zarr.tensorstore_cannot_open] .../identifier
    Error opening Zarr array with tensorstore

All 113 string arrays fail this check. The other 176 numeric and boolean arrays pass. Opening identifier directly with TensorStore gives:

Error parsing object member "data_type": string data type is not one of the supported data types

This is enough to reproduce the validation error:

import numpy as np
import zarr

group = zarr.open_group("strings.zarr", mode="w", zarr_format=3)
array = group.create_array("identifier", shape=(1,), dtype=np.dtypes.StringDType())
array[0] = "hello"

Then run dandi validate strings.zarr (outside a dandiset it also reports DANDI.NO_DANDISET_FOUND).

I used DANDI 0.78.0, TensorStore 0.1.85 and Zarr 3.3.0, overriding DANDI's zarr<=3.1.5 pin. I also checked an array written with Zarr 3.1.5 and TensorStore rejects it with the same dtype error.

I think _ts_validate_zarr3 is rejecting an encoding that Zarr-Python can read. Its docstring already says it should go away after the Zarr-Python 3 migration. Could we use Zarr-Python to validate these arrays? What do you think?

Ngôn ngữ chính
Python
Star
29
Fork
37
Merge trung bình
1 ngày 5 giờ
Pull request đã merge (30 ngày)
20

Chuẩn bị môi trường

Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của dandi/dandi-cli

Tất cả issue của dandi/dandi-cli

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.