DANDI validation rejects Zarr v3 string arrays
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
调研方向
从 _ts_validate_zarr3 入口开始，使用提供的 Zarr v3 字符串数组示例重现失败，然后运行 dandi validate strings.zarr。跟踪验证如何处理报告的字符串 dtype，并将其与 Zarr-Python 可以读取的数组进行比较。当字符串数组能够成功通过验证，同时现有的数值数组和布尔数组检查仍然通过时，即表示完成。
由索引模型根据 Issue 内容生成。
描述
I converted an IBL session while testing hdmf-zarr's v3 migration and tried uploading it to sandbox dandiset 218696. dandi upload stopped at validation:
[zarr.tensorstore_cannot_open] .../identifier
Error opening Zarr array with tensorstore
All 113 string arrays fail this check. The other 176 numeric and boolean arrays pass. Opening identifier directly with TensorStore gives:
Error parsing object member "data_type": string data type is not one of the supported data types
This is enough to reproduce the validation error:
import numpy as np
import zarr
group = zarr.open_group("strings.zarr", mode="w", zarr_format=3)
array = group.create_array("identifier", shape=(1,), dtype=np.dtypes.StringDType())
array[0] = "hello"
Then run dandi validate strings.zarr (outside a dandiset it also reports DANDI.NO_DANDISET_FOUND).
I used DANDI 0.78.0, TensorStore 0.1.85 and Zarr 3.3.0, overriding DANDI's zarr<=3.1.5 pin. I also checked an array written with Zarr 3.1.5 and TensorStore rejects it with the same dtype error.
I think _ts_validate_zarr3 is rejecting an encoding that Zarr-Python can read. Its docstring already says it should go away after the Zarr-Python 3 migration. Could we use Zarr-Python to validate these arrays? What do you think?
- 主要语言
- Python
- 星标
- 29
- 派生
- 37
- 平均合并
- 1 天 5 小时
- 30 天内合并 PR
- 20
环境准备
这个项目没有提供开发容器、Dockerfile 或贡献指南，环境需要你自己搭建：先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
dandi/dandi-cli 的其他 Issue
-
pynwb metadata: get neurodata types可能重新可做 关联的 PR 已关闭且未合并。 未关闭
难度 2/5 1-3 小时 新手友好度 65/100
维护者通常 1 天内回复
-
`metadata.nwb.get_metadata()` validates the whole BIDS dataset for every NWB file, then discards the result可能已有人在做 @CodyCBakerPhD 于 3 天前认领。 未关闭BIDS performance
dandi/dandi-cli#1962 · 1 条评论 · 已指派 1 人 ·
维护者通常 1 天内回复
-
BIDS bug
难度 3/5 半天 新手友好度 45/100
dandi/dandi-cli#1961 · 4 条评论 ·
维护者通常 1 天内回复
-
难度 4/5 3-5 天 新手友好度 48/100
dandi/dandi-cli#1920 · 2 条评论 ·
维护者通常 1 天内回复
-
难度 3/5 1-2 天 新手友好度 64/100
维护者通常 1 天内回复
相似的 Issue
-
难度 2/5 1-3 小时 新手友好度 72/100
ok-oldking/ok-wuthering-waves#1785 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 76/100
healthchecks/healthchecks#1349 ·
-
deployment release-lag
难度 1/5 1 小时以内 新手友好度 68/100
nolte/kamerplanter#2374 ·
维护者通常 1 天内回复
-
bug v1 v2
难度 2/5 1-3 小时 新手友好度 72/100
modelcontextprotocol/python-sdk#3725 ·
维护者通常 1 天内回复
-
batchterms() drops queries without a similar() clause, misaligning results with inputs可能已有人在做 @MohammadHijjawi97 今天认领。 未关闭
难度 2/5 1-3 小时 新手友好度 86/100
维护者通常 1 天内回复