Introduce CRD for Iceberg table maintanance
维护者通常 1 天内回复
还没有人认领这个 Issue。
评估
- 难度
- 5/5
- 预计耗时
- 一周以上
- 新手友好度
- 25/100
- Issue 类型
- 功能
- 描述清晰度
- 需要澄清
- 活跃度
- 停滞
- 技术栈
- grafana, kubernetes, prometheus, rust
调研方向
从提议的 CRD 结构和链接的 Trino Iceberg 维护操作文档开始。定义为表或 schema 调度维护、向 Trino 进行身份验证、处理保留设置以及暴露 Prometheus 指标分别做到什么才算完成；该 issue 还提到了 Kubernetes CronJobs、告警和 Grafana 仪表板。
由索引模型根据 Issue 内容生成。
描述
As a Trino Iceberg user I want to define a CR that allows me to regularly run maintenance actions on my tables.
- Come up with a CRD
- Figure out how to authenticate against Trino Cluster, e.g. always create a k8s Secret for a service user and add that into the authentication chain using Password file authentication as well as mount it into the k8s CronJob
Should
- Allow to run at whole schema, which iterates through tables
- Emit Prometheus metrics so we can alert on failures and have a Dashboard
Could
- Prometheus alters
- Grafana dashboard with e.g. files compacted, bytes and rows read/written
One possible solution would be to create a k8s CronJob for every maintenance CR.
CRD could look something like
spec:
target:
catalog: lakehouse
schema: default
table: my_table # Optional
schedule:
interval: 24h # using new Duration struct
# OR
cronExpression: XXX
actions:
- name: optimize
fileSizeThreshold: 100MB # optional, otherwise let trino use it's internal default
- name: expire_snapshots
retentionThreshold: 7d # optional, otherwise let trino use it's internal default
- name: remove_orphan_files
# Document: The value for retention_threshold must be higher than or equal to iceberg.remove_orphan_files.min-retention in the catalog otherwise the procedure fails with a similar message: Retention specified (1.00d) is shorter than the minimum retention configured in the system (7.00d)
retentionThreshold: 7d # optional, otherwise let trino use it's internal default
- 主要语言
- Rust
- 星标
- 64
- 派生
- 14
- 平均合并
- 1 天 8 小时
- 30 天内合并 PR
- 10
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 有 Pull Request 模板
- 没有贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
stackabletech/trino-operator 的其他 Issue
-
customer-request
难度 2/5 1-3 小时 新手友好度 60/100
stackabletech/trino-operator#499 ·
维护者通常 1 天内回复
-
type/bug
难度 4/5 3-5 天 新手友好度 45/100
stackabletech/trino-operator#936 · 3 条评论 ·
维护者通常 1 天内回复
-
bug: pod spec doesn't match sts template spec可能已有人在做 @razvan 于 220 天前认领。 未关闭release-note
stackabletech/trino-operator#854 · 3 条评论 · 已指派 1 人 ·
维护者通常 1 天内回复
-
Add Iceberg REST catalog support to TrinoCatalog可能已有人在做 关联的 PR 仍在进行中或已合并。 未关闭
难度 3/5 1-2 天 新手友好度 45/100
stackabletech/trino-operator#849 ·
维护者通常 1 天内回复
-
customer-request type/feature-improvement
难度 3/5 1-2 天 新手友好度 35/100
stackabletech/trino-operator#813 · 1 条评论 ·
维护者通常 1 天内回复
查看 stackabletech/trino-operator 的全部 Issue
相似的 Issue
-
难度 2/5 1-3 小时 新手友好度 65/100
rescript-lang/rescript#8765 ·
维护者通常 1 天内回复
-
bug
难度 2/5 1-3 小时 新手友好度 62/100
farion1231/cc-switch#8072 ·
维护者通常 1 天内回复
-
Python 3.15 support可能已有人在做 @amnesiaof 今天认领。 未关闭L: python L: python:uv
难度 2/5 1-3 小时 新手友好度 72/100
dependabot/dependabot-core#16524 · 1 条评论 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 62/100
维护者通常 1 天内回复
-
[Bug]: Migration link in chromadb/config.py error message returns 404可能已有人在做 @Imad2702 今天认领。 未关闭
难度 1/5 1 小时以内 新手友好度 90/100
chroma-core/chroma#7879 ·
维护者通常 1 天内回复