Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Introduce CRD for Iceberg table maintanance

Đang mở
#484 5 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
25/100
Loại issue
Tính năng
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Đình trệ
Công nghệ
grafana, kubernetes, prometheus, rust
Lĩnh vực
data-engineering, infrastructure, observability

Hướng nghiên cứu

Bắt đầu với cấu trúc CRD được đề xuất và tài liệu về các tác vụ bảo trì Trino Iceberg được liên kết. Xác định việc hoàn thành có ý nghĩa gì đối với việc lên lịch bảo trì cho các bảng hoặc schema, xác thực với Trino, xử lý các cài đặt lưu giữ và cung cấp các metric Prometheus; issue cũng đề cập đến Kubernetes CronJobs, các cảnh báo và một dashboard Grafana.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

customer-request

As a Trino Iceberg user I want to define a CR that allows me to regularly run maintenance actions on my tables.

  • Come up with a CRD
  • Figure out how to authenticate against Trino Cluster, e.g. always create a k8s Secret for a service user and add that into the authentication chain using Password file authentication as well as mount it into the k8s CronJob

Should

  • Allow to run at whole schema, which iterates through tables
  • Emit Prometheus metrics so we can alert on failures and have a Dashboard

Could

  • Prometheus alters
  • Grafana dashboard with e.g. files compacted, bytes and rows read/written

One possible solution would be to create a k8s CronJob for every maintenance CR.
CRD could look something like

spec:
  target:
    catalog: lakehouse
    schema: default
    table: my_table # Optional
  schedule:
    interval: 24h # using new Duration struct
    # OR
    cronExpression: XXX
  actions:
    - name: optimize
      fileSizeThreshold: 100MB # optional, otherwise let trino use it's internal default
    - name: expire_snapshots
      retentionThreshold: 7d # optional, otherwise let trino use it's internal default
    - name: remove_orphan_files
      # Document: The value for retention_threshold must be higher than or equal to iceberg.remove_orphan_files.min-retention in the catalog otherwise the procedure fails with a similar message: Retention specified (1.00d) is shorter than the minimum retention configured in the system (7.00d)
      retentionThreshold: 7d # optional, otherwise let trino use it's internal default
Ngôn ngữ chính
Rust
Star
63
Fork
13
Merge trung bình
1 ngày 20 giờ
Pull request đã merge (30 ngày)
12

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của stackabletech/trino-operator

Tất cả issue của stackabletech/trino-operator

Issue tương tự

Thêm issue về Rust

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.