[java-spanner] Provide a mutation count estimation and document how mutations are calculated
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 35/100
調査の方向性
まず、要求されている MutationCountEstimator のスコープと、Spanner のクォータおよび commit statistics のドキュメントを確認し、その後、リンクされている google-cloud-go issue 1721 を調査してください。INSERT、UPDATE、INSERT_OR_UPDATE、REPLACE、DELETE について要求されているカバレッジを、STORING と生成列、および index の write-only フェーズを含めて比較してください。完了の要件は、検証基準を伴う実装またはドキュメントのスコープが決定されていることです。
索引モデルが issue の本文から書いたものです。
説明
Is your feature request related to a problem? Please describe.
The https://docs.cloud.google.com/spanner/quotas only describes how secondary indexes affect mutation counts for delete operations. For inserts and updates, the docs state that "operations count with the multiplicity of the number of columns they affect" but do not describe how secondary indexes contribute to the count.
The full formula for inserts (number of columns + sum of columns across all secondary indexes) was only confirmed informally by Google's backend team in https://github.com/googleapis/google-cloud-go/issues/1721.
Additionally, when creating a new index on an existing table, we observe an immediate increase in mutation counts for writes to that table during the schema change (write-only phase), before the index is fully backfilled. This behavior and its impact on mutation budgets is not documented.
This forces teams to reverse-engineer mutation counting logic, which is fragile and breaks when the internal counting rules change.
Describe the solution you'd like
- A utility class in the Java client (e.g. MutationCountEstimator) that can calculate the expected mutation count for a given set of mutations before committing
OR - Complete documentation of how mutations are actually calculated for all operation types (INSERT, UPDATE, INSERT_OR_UPDATE, REPLACE, DELETE),
including:
- Indexes with STORING clauses
- Computed/generated columns
- The impact on mutation counts during index creation (write-only phase before backfill completes)
Ideally both :D
Describe alternatives you've considered
- Reverse-engineering the count from schema metadata and secondary index definitions. This is error-prone and has caused production incidents when our
calculation diverged from Spanner's actual count. - Committing a single row first, reading getMutationCount() from CommitResponse, then using that to size remaining batches.
- Using a limit well below 80,000 (e.g. 75,000) to absorb miscalculations.
Additional context
- https://cloud.google.com/blog/products/databases/cloud-spanner-doubles-the-number-of-updates-per-transaction — references mutation counting but does not cover the index impact.
- https://github.com/googleapis/google-cloud-go/issues/1721 — open since 2019, requesting programmatic mutation calculation. The formula was confirmed informally but never made it into the docs.
- The https://docs.cloud.google.com/spanner/docs/commit-statistics provides post-commit mutation counts but not pre-commit estimation.
- 主要言語
- Java
- スター
- 2.1k
- フォーク
- 1.2k
- 平均マージ
- 2日 14時間
- マージ済み PR（30日）
- 192
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートなし
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
googleapis/google-cloud-java のほかの issue
-
[java-core] Timestamp.of(java.sql.Timestamp) is one second late for a time less than a second before the epoch対応中かも @Vcode2407 が 4 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
googleapis/google-cloud-java#14636 ·
メンテナーはふだん 1 日以内に返信
-
[java-firestore] UserDataConverter encodes a pre-epoch Date with negative nanos, so the write is refused対応中かも @wu-hui が 23 日前に担当しました。 オープンpriority: p2 type: bug
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
googleapis/google-cloud-java#14635 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信
-
[java-firestore] UserDataConverter throws IndexOutOfBoundsException on an empty __binary__ value対応中かも @wu-hui が 23 日前に担当しました。 オープンpriority: p2 type: bug
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
googleapis/google-cloud-java#14634 · コメント 1 件 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信
-
[java-firestore] CustomClassMapper.convertBigDecimal calls .abs() on Double, unintentionally flipping negative values to positive再び着手できるかも @wu-hui が 45 日前に担当しましたが、オープン中のプルリクエストはありません。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 85/100
googleapis/google-cloud-java#14533 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信
-
Github CI failing when trying to install xmllint対応中かも @blakeli0 が 81 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 65/100
googleapis/google-cloud-java#14132 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
googleapis/google-cloud-java の issue をすべて見る
似ている issue
-
難易度 1/5 1時間未満 初心者へのやさしさ 88/100
-
難易度 2/5 1時間未満 初心者へのやさしさ 84/100
cpp-best-practices/project_validator#251 ·
メンテナーはふだん 1 日以内に返信
-
backend enhancement
難易度 2/5 半日 初心者へのやさしさ 70/100
damodharg6/payledger#16 ·
-
[Bug]: An initiative list with no current entry logs an error on every change対応中かも @dwizard0 が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
メンテナーはふだん 1 日以内に返信
-
難易度 1/5 1時間未満 初心者へのやさしさ 85/100
メンテナーはふだん 1 日以内に返信