ParquetWriterExec's derived Debug prints object store options, which can hold secret keys
维护者通常 2 天内回复
还没有人认领这个 Issue。
评估
调研方向
从 native/core/src/execution/operators/parquet_writer.rs 开始，检查 ParquetWriterExec 派生的 Debug 实现以及 #7127 中添加的辅助函数。检查该运算符如何格式化 output_path 和 object_store_options，然后验证调试输出会省略路径凭据，并包含不带值的选项键。该 issue 没有指定测试文件，因此请查找或添加对含有秘密选项的运算符进行格式化的测试覆盖。
由索引模型根据 Issue 内容生成。
描述
Describe the bug
Found while working on #7128. ParquetWriterExec in native/core/src/execution/operators/parquet_writer.rs derives Debug, so {:?} of the operator prints output_path and object_store_options as they are. The options come from NativeConfig.extractObjectStoreOptions and can hold credentials such as fs.s3a.secret.key or an Azure SAS token, and the path can carry a password or a SAS query.
Comet does not format the plan with {:?} today, so nothing leaks yet. A debug log, a dbg!, a test assertion or a DataFusion error that formats the plan with Debug would print the secrets.
Steps to reproduce
Format a ParquetWriterExec built with fs.s3a.secret.key in its options with {:?}. The key's value appears in the output.
Expected behavior
Debug for ParquetWriterExec prints the path without credentials (the helpers #7127 adds) and only the keys of object_store_options, not their values.
Additional context
The plan display (DisplayAs) and the writer's messages are handled in the #7128 pull requests; this is the remaining way the operator can print its options.
- 主要语言
- Scala
- 星标
- 1.3k
- 派生
- 414
- 平均合并
- 3 天 5 小时
- 30 天内合并 PR
- 228
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
apache/datafusion-comet 的其他 Issue
-
requires-triage
难度 2/5 1-3 小时 新手友好度 73/100
apache/datafusion-comet#7559 ·
维护者通常 2 天内回复
-
enhancement requires-triage
难度 2/5 1-3 小时 新手友好度 78/100
apache/datafusion-comet#7557 ·
维护者通常 2 天内回复
-
`rand` and `randn` with an integer seed fall back to Spark without a fallback reason可能已有人在做 @galaxytemple 于 1 天前认领。 未关闭requires-triage
难度 2/5 1-3 小时 新手友好度 78/100
apache/datafusion-comet#7479 · 1 条评论 · 已指派 1 人 ·
维护者通常 2 天内回复
-
area:writer enhancement requires-triage
难度 2/5 1-3 小时 新手友好度 62/100
apache/datafusion-comet#7463 ·
维护者通常 2 天内回复
-
requires-triage
难度 2/5 1-3 小时 新手友好度 78/100
apache/datafusion-comet#7458 ·
维护者通常 2 天内回复
查看 apache/datafusion-comet 的全部 Issue
相似的 Issue
-
难度 1/5 1 小时以内 新手友好度 86/100
维护者通常 1 天内回复
-
bug
难度 1/5 1 小时以内 新手友好度 88/100
propensive/soundness#2438 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 62/100
lichess-org/lila#22440 ·
维护者通常 1 天内回复
-
unrefined
难度 2/5 1-3 小时 新手友好度 80/100
维护者通常 1 天内回复
-
No test covers transaction re-request after a delivery timeout可能已有人在做 关联的 PR 仍在进行中或已合并。 未关闭
难度 2/5 1-3 小时 新手友好度 68/100
ergoplatform/ergo#2916 ·
维护者通常 3 天内回复