ParquetMetadataConverter should never log at level WARN

未关闭

#3,025 创建于 2024年10月7日 0 条评论 0 个 reaction 已指派 0 人在 GitHub 查看

还没有人认领这个 Issue。

评估

难度: 4/5
预计耗时: 3-5 天
新手友好度: 35/100

Issue 类型: 缺陷
描述清晰度: 需要澄清
活跃度: 停滞
技术栈: java
领域: data-engineering

调研方向

首先阅读指定行的 parquet-hadoop/src/main/java/org/apache/parquet/format/converter/ParquetMetadataConverter.java，并检查周围的元数据转换行为。检查相关的 Converter 测试和 logging 约定，然后与 Maintainers 确认该警告应被移除、降级，还是替换为 Exception。完成的标准是：在没有意外兼容性变更的情况下实现已达成一致的行为，并由适当的回归测试覆盖。

由索引模型根据 Issue 内容生成。

描述

Type: bug

Describe the bug, including details regarding any error messages, version, and platform.

When ParquetMetadataConverter encounters a mismatch between logical and converted type, it logs a message at level WARN. https://github.com/apache/parquet-java/blob/eed26b4ea96881cc543b4233cdddece5d1d608d7/parquet-hadoop/src/main/java/org/apache/parquet/format/converter/ParquetMetadataConverter.java#L1864

This behavior does not make sense because one of two things must be true:

This is an issue that can affect normal operation and the application needs to (potentially) respond to it
This is not a concern for the calling application and it won't impact normal operation

If item 1 is true, then an exception should be thrown and the application choose to respond or not (possibly by logging). If item item 2 is true, then the log message should either be omitted entirely or be logged at level DEBUG (INFO level would still be too spammy)

I would be happy to submit a patch if there is consensus about which approach to take. Perhaps there should be a flag to control whether the exception should be thrown to avoid breaking existing code.

Component(s)

No response

主要语言: Java
星标: 3.1k
派生: 1.6k
平均合并: 6 天 16 小时
30 天内合并 PR: 36

贡献指南

这个仓库没有索引到贡献指南

从这里开始

先读完整个 Issue，再读项目的贡献指南。
在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
Fork 仓库，在一个分支上完成修改。
提交 Pull Request，并在描述里引用这个 Issue 编号。

apache/parquet-java 的其他 Issue

AvroIndexedRecordConverter resolves aliases before the exact field name 未关闭

Type: bug

难度 2/5 1-3 小时新手友好度 68/100

apache/parquet-java#3792 · 2026年9月14日创建
Make PageReader AutoCloseable 未关闭

难度 2/5 1-3 小时新手友好度 82/100

apache/parquet-java#3767 · 2026年9月4日创建
Remove duplicate LICENSE and NOTICE files from benchmark JARs 未关闭

难度 2/5 1-3 小时新手友好度 72/100

apache/parquet-java#3695 · 1 条评论 · 2026年7月29日创建
Close input readers when ParquetRewriter setup fails 未关闭

难度 2/5 1-3 小时新手友好度 78/100

apache/parquet-java#3667 · 2026年7月16日创建
null_count is omitted for large columns in parquet files 未关闭

Type: bug

难度 2/5 1-3 小时新手友好度 78/100

apache/parquet-java#3574 · 1 条评论 · 2026年5月22日创建

查看 apache/parquet-java 的全部 Issue

相似的 Issue

chore: aspectjweaver(EPL-2.0)와 AGPL-3.0 호환성 정리 未关闭

documentation

难度 2/5 1-3 小时新手友好度 65/100

inu-appcenter/memorIN-backend#288 · 2026年9月24日创建
Vulnerability Nessus 12085 - Apache Tomcat Default Files (with killbill/killbill:0.24.21) 未关闭

难度 2/5 1-3 小时新手友好度 65/100

killbill/killbill#2314 · 1 条评论 · 2026年9月24日创建
Work list, Cases and Compliance overlap, and nothing says which one to use 未关闭

frontend maui-pilot pilot-ask question

难度 2/5 1-3 小时新手友好度 75/100

Taleef7/workwell#698 · 2026年9月24日创建
[Bug][UI] Replace the status of the button in the Sessions Tab 未关闭

难度 2/5 1-3 小时新手友好度 75/100

Netcracker/qubership-integration-platform#918 · 2026年9月24日创建
executions.Query — startDate and timeRange filters are sent with inverted comparison operators 未关闭

area/plugin

难度 2/5 1-3 小时新手友好度 75/100

kestra-io/plugin-kestra#190 · 2026年9月24日创建

更多 Java Issue