Shredded variant readers throw InvalidCastException for large_binary and binary_view storage
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
调研方向
Start in Apache.Arrow.Operations.Shredding, focusing on ShreddedVariant, ShreddedObject, ShreddedArray, and TryGetResidualReader. Trace the binary and string columns accepted by VariantArray and ShredSchema, then check the affected logical, typed, and residual read paths. Done means large_binary, binary_view, and large_utf8 representations are accepted without InvalidCastException in the listed scenarios.
由索引模型根据 Issue 内容生成。
描述
Describe the bug, including details regarding any error messages, version, and platform.
VariantArray accepts binary, large_binary or binary_view for its metadata and value fields, at the top level and inside shredded element groups (VariantExtensionDefinition.FindBinaryFieldIndex, ShredSchema.IsElementGroupStruct). ShredSchema.FromArrowType also maps large_utf8 and large_binary typed_value columns.
The shredding-aware readers in Apache.Arrow.Operations.Shredding (ShreddedVariant, ShreddedObject, ShreddedArray) cast those columns to BinaryArray / StringArray, so any other representation throws InvalidCastException. This affects:
GetLogicalVariantValueon any such column, shredded or not. For an unshreddedlarge_binarycolumn the coreVariantArray.GetVariantValueworks, butGetLogicalVariantValuethrows.ShreddedVariant.GetString()/GetBinaryBytes()onlarge_utf8/large_binarytyped columns.- Residual reads in
ShreddedObject/ShreddedArray,TryGetResidualReader, etc.
Expected: the readers accept every storage type that VariantArray and ShredSchema accept.
Found while reviewing #447, whose new array-level entry points go through these readers.
Component(s)
C#
- 主要语言
- C#
- 星标
- 40
- 派生
- 30
- 平均合并
- 1 天 4 小时
- 30 天内合并 PR
- 14
环境准备
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
apache/arrow-dotnet 的其他 Issue
-
难度 1/5 1-3 小时 新手友好度 88/100
apache/arrow-dotnet#410 · 4 条评论 ·
维护者通常 1 天内回复
-
难度 4/5 3-5 天 新手友好度 68/100
apache/arrow-dotnet#446 ·
维护者通常 1 天内回复
-
难度 4/5 3-5 天 新手友好度 38/100
apache/arrow-dotnet#409 · 1 条评论 ·
维护者通常 1 天内回复
-
难度 5/5 一周以上 新手友好度 35/100
apache/arrow-dotnet#397 · 2 条评论 ·
维护者通常 1 天内回复
-
难度 3/5 1-2 天 新手友好度 55/100
apache/arrow-dotnet#378 ·
维护者通常 1 天内回复
查看 apache/arrow-dotnet 的全部 Issue
相似的 Issue
-
难度 2/5 1-3 小时 新手友好度 78/100
microsoft/fluentui-blazor#5364 ·
维护者通常 1 天内回复
-
.NET triage
难度 2/5 1-3 小时 新手友好度 74/100
microsoft/agent-framework#8811 ·
维护者通常 1 天内回复
-
.NET Docs
难度 1/5 1 小时以内 新手友好度 82/100
getsentry/sentry-dotnet#5637 · 1 条评论 ·
维护者通常 2 天内回复
-
难度 2/5 1-3 小时 新手友好度 78/100
QuantConnect/Lean#9842 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 82/100
NethermindEth/nethermind#14012 ·
维护者通常 1 天内回复