Native Iceberg errors print data and delete file paths with their credentials
维护者通常 2 天内回复
还没有人认领这个 Issue。
评估
调研方向
阅读 iceberg_location_scoped.rs、iceberg_scan.rs、iceberg_write.rs 和 planner.rs，以及 #7127 中添加的 URL 脱敏辅助函数。找到列出的错误消息，并检查 #7128 的更改如何对类似路径应用脱敏。完成标准是每条消息打印的路径都不含凭据或查询字符串，且相关测试通过。
由索引模型根据 Issue 内容生成。
描述
Describe the bug
Found while working on #7128. Several native Iceberg errors print a data or delete file path exactly as the catalog recorded it:
iceberg_location_scoped.rs: "Invalid S3 path {path}", "S3 path {path} has no bucket"iceberg_scan.rs: "Failed to stat delete file '{path}'" and the size check after iticeberg_write.rs: "{path} is not the data file this output was made for", "... on the output of data file {path}"planner.rs: "Delete file '{file_path}' has a negative {what}"
A location with a password in its userinfo or a SAS token or signature in its query string would end up in task failures and logs. Catalog locations rarely carry credentials, so this is low risk, but it is the same leak #7128 fixes for Parquet, Delta and object store paths.
Steps to reproduce
Each message formats the path with {path} as is, so a location like s3://alice:SECRET@bucket/t/delete.parquet?sig=TOKEN reaching any of them is printed with SECRET and TOKEN.
Expected behavior
These messages show the path without its password, username or query, using the URL redaction helpers #7127 adds, as the #7128 pull requests do for the other paths.
Additional context
Not part of the four #7128 pull requests, which cover object store setup, the Parquet writer, native Delta and the JVM rejected path reason.
- 主要语言
- Scala
- 星标
- 1.3k
- 派生
- 414
- 平均合并
- 3 天 5 小时
- 30 天内合并 PR
- 228
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
apache/datafusion-comet 的其他 Issue
-
requires-triage
难度 2/5 1-3 小时 新手友好度 78/100
apache/datafusion-comet#7558 ·
维护者通常 2 天内回复
-
enhancement requires-triage
难度 2/5 1-3 小时 新手友好度 78/100
apache/datafusion-comet#7557 ·
维护者通常 2 天内回复
-
`rand` and `randn` with an integer seed fall back to Spark without a fallback reason可能已有人在做 @galaxytemple 于 1 天前认领。 未关闭requires-triage
难度 2/5 1-3 小时 新手友好度 78/100
apache/datafusion-comet#7479 · 1 条评论 · 已指派 1 人 ·
维护者通常 2 天内回复
-
area:writer enhancement requires-triage
难度 2/5 1-3 小时 新手友好度 62/100
apache/datafusion-comet#7463 ·
维护者通常 2 天内回复
-
requires-triage
难度 2/5 1-3 小时 新手友好度 78/100
apache/datafusion-comet#7458 ·
维护者通常 2 天内回复
查看 apache/datafusion-comet 的全部 Issue
相似的 Issue
-
难度 1/5 1 小时以内 新手友好度 86/100
维护者通常 1 天内回复
-
bug
难度 1/5 1 小时以内 新手友好度 88/100
propensive/soundness#2438 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 62/100
lichess-org/lila#22440 ·
维护者通常 1 天内回复
-
unrefined
难度 2/5 1-3 小时 新手友好度 80/100
维护者通常 1 天内回复
-
No test covers transaction re-request after a delivery timeout可能已有人在做 关联的 PR 仍在进行中或已合并。 未关闭
难度 2/5 1-3 小时 新手友好度 68/100
ergoplatform/ergo#2916 ·
维护者通常 3 天内回复