[Feature Request]: Bound PGBKCVOperation precombine table by in-memory size, not key count
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
- #39767 @Dharshika-11 による — マージされずにクローズ
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 35/100
- issue の種類
- 機能追加
- 明瞭さ
- おおむね明確
- 活発さ
- 静か
- 技術スタック
- python
調査の方向性
sdks/python/apache_beam/runners/worker/operations.py の PGBKCVOperation と、メモリ内サイズによる上限設定に関するその TODO から始めます。対応する PGBKOperation と比較し、Count、Mean、min、max、sum の各アキュムレータがどのように表現されているかを調べます。メモリ内サイズの推定値を使用して precombine テーブルに上限を設け、キー数だけに依存せず、ラップされたアキュムレータまたはネイティブアキュムレータも考慮できれば完了です。
索引モデルが issue の本文から書いたものです。
説明
What would you like to happen?
PGBKCVOperation (sdks/python/apache_beam/runners/worker/operations.py) caps its precombine table by key count (max_keys, default 100k / 1M for Count/Mean/min/max/sum), flushing ~10% of keys once the count is hit. The code already flags this as a stopgap:
# TODO(b/36567833): Bound by in-memory size rather than key count.
A fixed key-count cap is a poor memory proxy when accumulators vary in size, so workers can OOM well below max_keys (or flush needlessly when accumulators are tiny). Request: bound the table by estimated in-memory size instead of (or in addition to) key count.
Notes:
b/36567833is a Google-internal Buganizer ref with no public page; this issue tracks it publicly.- Sibling
PGBKOperationhas the same shape (max_size = 10 * 1000elements). - Sizing accurately is the hard part —
sys.getsizeofundercounts wrapped/native (e.g. C-extension) accumulators; a coder-based or sampled-RSS estimate is likely needed.
Issue Priority
Priority: 3 (nice-to-have improvement)
Issue Components
- Component: Python SDK
- 主要言語
- Java
- スター
- 8.7k
- フォーク
- 4.8k
- 平均マージ
- 2日 9時間
- マージ済み PR（30日）
- 368
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
apache/beam のほかの issue
-
awaiting triage bug P3
難易度 1/5 1時間未満 初心者へのやさしさ 67/100
apache/beam#41197 · コメント 2 件 ·
メンテナーはふだん 1 日以内に返信
-
[Bug]: [Python] WriteToJson silently rounds floats to 10 decimal places対応中かも @Abhi2939 が 1 日前に担当しました。 オープンio P2 python yaml
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
apache/beam#41102 · コメント 4 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
apache/beam#39624 · リアクション 2 件 ·
メンテナーはふだん 1 日以内に返信
-
[Bug]: PubsubIO used in batch incorrect batch cutoff size対応中かも @1fanwang が 78 日前に担当しました。 オープンbug io P3 pinned pubsub
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
apache/beam#28011 · コメント 4 件 ·
メンテナーはふだん 1 日以内に返信
-
build P3 sub-task
難易度 1/5 1時間未満 初心者へのやさしさ 68/100
メンテナーはふだん 1 日以内に返信
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 66/100
SasanLabs/VulnerableApp#912 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
メンテナーはふだん 1 日以内に返信
-
desktop edt not responding
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
datafusion-contrib/StreamFusion#653 ·
メンテナーはふだん 1 日以内に返信
-
[Bug] Absolute row/column index 0 is ignored for images, hyperlinks and comments対応中かも @fanOfSunny が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
メンテナーはふだん 1 日以内に返信