Document GCS bucket retention policy impact on ClickHouse storage

オープン 初心者向け
#147 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度
1/5
見積もり時間
1時間未満
初心者へのやさしさ
72/100
issue の種類
ドキュメント
明瞭さ
明確に書かれている
活発さ
停滞
技術スタック
clickhouse, google-cloud

調査の方向性

content/en/altinity-kb-integrations/altinity-kb-google-s3-gcs.md を読み、既存の GCS セットアップ手順を確認します。保持ポリシーによって、merge、mutation、TTL の期限切れの際に ClickHouse による削除がどのように妨げられるかを説明する警告を追加し、保持ポリシーのない bucket を使用することを推奨します。ストレージの増加と運用コストのリスクが明確に文書化されていれば完了です。

索引モデルが issue の本文から書いたものです。

説明

Problem

The current GCS documentation (content/en/altinity-kb-integrations/altinity-kb-google-s3-gcs.md) only covers basic setup (HMAC keys, endpoint configuration) but doesn't mention an important operational caveat.

Missing Information

When a GCS bucket has a retention policy enabled, objects cannot be deleted until the retention period expires. This causes issues with ClickHouse because it regularly deletes data during:

  • Part merges - old parts are removed after merge
  • Mutations - replaced data is deleted
  • TTL expiration - expired data is purged

If the bucket retention policy prevents deletion, old data accumulates and storage grows exponentially, leading to unexpected costs and potential operational issues.

Suggested Addition

Add a warning/note to the GCS documentation explaining:

  1. Bucket retention policies prevent ClickHouse from deleting obsolete data
  2. This causes continuous storage growth
  3. Recommendation to disable retention policy or use a bucket without one for ClickHouse storage

If this seems like a good enhancement, I'd be happy to take this up and submit a PR.

主要言語
HTML
スター
62
フォーク
49
平均マージ
6分
マージ済み PR(30日)
3

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

Altinity/altinityknowledgebase のほかの issue

Altinity/altinityknowledgebase の issue をすべて見る

似ている issue

Databases の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。