[Bug] Parallel dedup semi-join planning takes an exclusive lock on gp_segment_configuration
Maintainer thường phản hồi trong vòng 2 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 53/100
Hướng nghiên cứu
Start with the parallel semi-join regression fixture in src/test/regress/sql/cbdb_parallel.sql and trace the two planner paths in src/backend/cdb/cdbpath.c to cdbcomponent_get_maxdbid() in src/backend/cdb/cdbutil.c. Check how the catalog is opened and closed, and identify a read-only lookup that preserves locking for topology-changing callers. Verify with EXPLAIN and the fixture that planning no longer holds an AccessExclusiveLock while topology changes retain their required locking.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Apache Cloudberry version
Apache Cloudberry 2.2.0-incubating, build 13d3c58eaa0 (PostgreSQL 14.10)
What happened
While diagnosing intermittent connection delays on a multi-segment cluster, we observed ordinary read-only SELECTs holding a granted AccessExclusiveLock on pg_catalog.gp_segment_configuration. New connections were waiting for AccessShareLock on the same shared catalog. pg_blocking_pids() identified the SELECT backend as the blocker, including in a different database on the same coordinator.
On a separate three-segment development cluster running the same build, EXPLAIN without ANALYZE alone acquired the lock. In the on/off comparison below, the final plan was Parallel Hash Semi Join in both cases. The lock can therefore come from evaluating a candidate that is never executed.
What you think should happen instead
Planning a read-only query should not hold a transaction-duration AccessExclusiveLock on the shared topology catalog. The planner only needs to read the maximum segment DBID. Please preserve the locking semantics required by topology-changing callers.
How to reproduce
On the affected build in a development environment, use the parallel semi-join regression fixture as a starting point. We compared EXPLAIN (without ANALYZE) on an equivalent EXISTS query joining two distributed tables, with optimizer=off, enable_parallel=on, and two workers per gather.
| Planner settings | Current backend’s lock on gp_segment_configuration after EXPLAIN |
|---|---|
| Both parallel dedup semi-join options enabled | Granted AccessExclusiveLock |
enable_parallel_dedup_semi_join=off and enable_parallel_dedup_semi_reverse_join=off |
No lock observed |
We inspected pg_locks in each read-only test transaction and rolled back immediately after taking the sample.
Operating System
Enterprise Linux 9, x86_64
Anything else
The two parallel join paths in cdbpath.c call cdbcomponent_get_maxdbid() when the deduplicated input uses multiple parallel workers. The catalog implementation opens the relation with AccessExclusiveLock and closes it with NoLock, keeping the lock until transaction end.
A possible fix is to give the planner a separate read-only lookup with appropriately scoped locking. Turning off both dedup options at session scope avoided this path on the tested build while leaving ordinary parallel semi-joins available. We verified the behavior on 2.2.0 only.
Are you willing to submit PR?
- Yes, I am willing to submit a PR!
Code of Conduct
- I agree to follow this project's Code of Conduct.
- Ngôn ngữ chính
- C
- Star
- 1.4k
- Fork
- 273
- Merge trung bình
- 4 ngày 6 giờ
- Pull request đã merge (30 ngày)
- 105
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của apache/cloudberry
-
isolation2 lockmodes fails on cassert builds: extra AccessShareLock on partition rootCó thể đã có người làm @tuhaihe đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
apache/cloudberry#2356 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
psql tab completion broken for storage servers, tags, profiles and resource groups (pre-PG15 query format)Có thể đã có người làm @allenvox đã nhận 5 ngày trước. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
apache/cloudberry#2316 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
[Bug] Expand fails to recognize user-defined tablespacesCó thể đã có người làm @nix-oss đã nhận 92 ngày trước. Đang mởtype: Bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
apache/cloudberry#1885 · 2 reaction ·
Maintainer thường phản hồi trong vòng 2 ngày
-
gpexpand first stage fails: 'SyncPackages' object has no attribute 'ret' (extension sync never runs; regression)Có thể đã có người làm @talmacschen-arch đã nhận 153 ngày trước. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 86/100
apache/cloudberry#1825 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
Terminated by signal 6: AbortedĐang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 15/100
apache/cloudberry#2348 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 2 ngày
Tất cả issue của apache/cloudberry
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 1 ngày
-
windows-artifacts: the win-arm64 job uses a Visual Studio generator missing from windows-11-armĐang mở
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 86/100
-
Add Royalty funding badgeĐang mở
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 78/100
crosspoint-reader/crosspoint-reader#4535 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
[core] Clients never advertise RNS_UD_CS_SUPPORT_ERRINFO_PDU, so a conforming server can't send them Set Error InfoCó thể đã có người làm @akallabeth đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
FreeRDP/FreeRDP#14230 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Wrong release linkedĐang mở
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 88/100
Genymobile/scrcpy#7178 ·
Maintainer thường phản hồi trong vòng 3 ngày