Document GCS bucket retention policy impact on ClickHouse storage

Đang mở Phù hợp với người mới
#147 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
1/5
Thời gian dự kiến
Dưới một giờ
Mức phù hợp với người mới
72/100
Loại issue
Tài liệu
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Đình trệ
Công nghệ
clickhouse, google-cloud
Lĩnh vực
databases, documentation

Hướng nghiên cứu

Đọc content/en/altinity-kb-integrations/altinity-kb-google-s3-gcs.md và xem lại hướng dẫn thiết lập GCS hiện có. Thêm một cảnh báo giải thích cách các chính sách lưu giữ ngăn ClickHouse xóa dữ liệu trong quá trình merge, mutation và khi TTL hết hạn, đồng thời khuyến nghị sử dụng một bucket không có chính sách lưu giữ. Hoàn thành khi rủi ro về tăng trưởng dung lượng lưu trữ và chi phí vận hành được ghi lại rõ ràng.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Problem

The current GCS documentation (content/en/altinity-kb-integrations/altinity-kb-google-s3-gcs.md) only covers basic setup (HMAC keys, endpoint configuration) but doesn't mention an important operational caveat.

Missing Information

When a GCS bucket has a retention policy enabled, objects cannot be deleted until the retention period expires. This causes issues with ClickHouse because it regularly deletes data during:

  • Part merges - old parts are removed after merge
  • Mutations - replaced data is deleted
  • TTL expiration - expired data is purged

If the bucket retention policy prevents deletion, old data accumulates and storage grows exponentially, leading to unexpected costs and potential operational issues.

Suggested Addition

Add a warning/note to the GCS documentation explaining:

  1. Bucket retention policies prevent ClickHouse from deleting obsolete data
  2. This causes continuous storage growth
  3. Recommendation to disable retention policy or use a bucket without one for ClickHouse storage

If this seems like a good enhancement, I'd be happy to take this up and submit a PR.

Ngôn ngữ chính
HTML
Star
62
Fork
49
Merge trung bình
6 phút
Pull request đã merge (30 ngày)
3

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của Altinity/altinityknowledgebase

Tất cả issue của Altinity/altinityknowledgebase

Issue tương tự

Thêm issue về Databases

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.