parquet-cli rewrite option

未关闭

#2,981 创建于 2024年8月7日 1 条评论 0 个 reaction 已指派 0 人在 GitHub 查看

还没有人认领这个 Issue。

评估

难度: 4/5
预计耗时: 3-5 天
新手友好度: 35/100

Issue 类型: 功能
描述清晰度: 基本清楚
活跃度: 停滞
技术栈: google-cloud, java
领域: cli, cloud

调研方向

从 parquet-cli 的 rewrite 命令开始，重现报告的 gs:// 输入和输出失败。跟踪 rewrite 如何解析文件系统 scheme，然后检查 CLI 使用的 Hadoop 文件系统配置。当所请求的 GCS prune-columns 工作流得到支持，或其限制得到清楚记录，并且在项目提供测试的情况下由测试覆盖错误行为时，即表示完成。

由索引模型根据 Issue 内容生成。

描述

Describe the usage question you have. Please include as many useful details as possible.

Hi ,

is it possible to read directly from a gcs bucket to prune a column
like rewrite -i gs:/sourcebbucket/part-00549.parquet -o gs://targetbucket/newdata/dd --prune-columns col4

i am getting error
java.lang.RuntimeException: org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for scheme "gs"

Component(s)

No response

主要语言: Java
星标: 3.1k
派生: 1.6k
平均合并: 6 天 16 小时
30 天内合并 PR: 36

贡献指南

这个仓库没有索引到贡献指南

从这里开始

先读完整个 Issue，再读项目的贡献指南。
在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
Fork 仓库，在一个分支上完成修改。
提交 Pull Request，并在描述里引用这个 Issue 编号。

apache/parquet-java 的其他 Issue

AvroIndexedRecordConverter resolves aliases before the exact field name 未关闭

Type: bug

难度 2/5 1-3 小时新手友好度 68/100

apache/parquet-java#3792 · 2026年9月14日创建
Make PageReader AutoCloseable 未关闭

难度 2/5 1-3 小时新手友好度 82/100

apache/parquet-java#3767 · 2026年9月4日创建
Remove duplicate LICENSE and NOTICE files from benchmark JARs 未关闭

难度 2/5 1-3 小时新手友好度 72/100

apache/parquet-java#3695 · 1 条评论 · 2026年7月29日创建
Close input readers when ParquetRewriter setup fails 未关闭

难度 2/5 1-3 小时新手友好度 78/100

apache/parquet-java#3667 · 2026年7月16日创建
Setting parquet.thrift.string.size.limit = -1 incorrectly throws 未关闭

Type: bug

难度 2/5 1-3 小时新手友好度 76/100

apache/parquet-java#3587 · 2026年5月26日创建

查看 apache/parquet-java 的全部 Issue

相似的 Issue

chore: aspectjweaver(EPL-2.0)와 AGPL-3.0 호환성 정리 未关闭

documentation

难度 2/5 1-3 小时新手友好度 65/100

inu-appcenter/memorIN-backend#288 · 2026年9月24日创建
Vulnerability Nessus 12085 - Apache Tomcat Default Files (with killbill/killbill:0.24.21) 未关闭

难度 2/5 1-3 小时新手友好度 65/100

killbill/killbill#2314 · 1 条评论 · 2026年9月24日创建
Work list, Cases and Compliance overlap, and nothing says which one to use 未关闭

frontend maui-pilot pilot-ask question

难度 2/5 1-3 小时新手友好度 75/100

Taleef7/workwell#698 · 2026年9月24日创建
[Bug][UI] Replace the status of the button in the Sessions Tab 未关闭

难度 2/5 1-3 小时新手友好度 75/100

Netcracker/qubership-integration-platform#918 · 2026年9月24日创建
executions.Query — startDate and timeRange filters are sent with inverted comparison operators 未关闭

area/plugin

难度 2/5 1-3 小时新手友好度 75/100

kestra-io/plugin-kestra#190 · 2026年9月24日创建

更多 Java Issue