Joining with a union on the right raises AssertionError when the two sides share no attributes
メンテナーはふだん 6 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 2/5
- 見積もり時間
- 1〜3時間
- 初心者へのやさしさ
- 88/100
調査の方向性
src/datajoint/expression.py の QueryExpression.join 周辺の 410~436 行と、tests/integration/test_aggr_regressions.py にある既存の test_union_join を読みます。報告された右辺が union の cross join を再現し、それを対象とする回帰テストを追加します。新しいテストが期待される直積の行を返し、既存の union join テストも引き続き成功すれば完了です。
索引モデルが issue の本文から書いたものです。
説明
What happens
A * (B + C) raises a bare AssertionError when A and the union B + C have no attribute in common, so the join is a cross join. The same join with the union on the left, (B + C) * A, returns the correct rows. A union on the right that shares an attribute with the left side also works.
Reproduction
On master (3c912c46), the same on MySQL 8.0 and PostgreSQL 15:
import datajoint as dj
schema = dj.Schema("join_union_repro")
@schema
class Parent(dj.Manual):
definition = """
parent_id : int32
---
label : varchar(8)
"""
@schema
class Child(dj.Manual):
definition = """
-> Parent
child_id : int32
---
color : varchar(8)
"""
@schema
class ParentInfo(dj.Manual):
definition = """
-> Parent
---
info : varchar(8)
"""
Parent.insert([{"parent_id": 1, "label": "a"}, {"parent_id": 2, "label": "b"}, {"parent_id": 3, "label": "a"}])
Child.insert([
{"parent_id": 1, "child_id": 1, "color": "red"},
{"parent_id": 1, "child_id": 2, "color": "blue"},
{"parent_id": 2, "child_id": 1, "color": "blue"},
])
ParentInfo.insert([{"parent_id": 3, "info": "x"}])
pids = (Parent & {"parent_id": 1}).proj(pid="parent_id") + ParentInfo.proj(pid="parent_id")
pids.to_dicts() # [{'pid': 1}, {'pid': 3}]
Child.proj() * pids # AssertionError
File ".../datajoint/expression.py", line 436, in join
assert len(result.support) == len(result._joins) + 1
AssertionError
| Query | Observed (MySQL 8.0 and PostgreSQL 15) | Expected |
|---|---|---|
Child.proj() * pids |
AssertionError |
6 rows: each of the 3 children with pid 1 and with pid 3 |
Child * pids |
AssertionError |
the same 6 rows, with color |
Child.proj() * (Parent.proj(pid="parent_id") + ParentInfo.proj(pid="parent_id")) |
AssertionError |
9 rows: each child with pid 1, 2 and 3 |
pids * Child.proj() (union on the left) |
6 rows, correct | 6 rows |
Child.proj() * ((Parent & {"parent_id": 1}).proj() + ParentInfo.proj()) (shares parent_id) |
the 2 children of parent 1, correct | the same |
Cause
QueryExpression.join decides separately for each side whether to wrap it in a subquery. For the right side (src/datajoint/expression.py:410-415), the check for a union tests the left side:
need_subquery2 = (
need_subquery2
or isinstance(other, Aggregation)
or any(n in other.heading.new_attributes for n in join_attributes)
or isinstance(self, Union) # should be: isinstance(other, Union)
)
A union has no FROM clause of its own. Until it is wrapped, its support is its two operands. join() copies both of them into the result (result._support = self.support + other.support, line 428) but adds only one join step (line 431), so the check at line 436 fails.
When the two sides share an attribute, another rule wraps the union anyway (lines 420-421: len(other.support) > 1 and join_attributes), which hides the mistake. A cross join has no shared attributes, so nothing wraps the union.
The line came in with the fix for #930 (2021). That fix covered the union on the left, and the copy for the right side kept self.
With assertions disabled (python -O), the query runs without an error and returns wrong rows. The second operand of the union is left out of the FROM clause, and pid is read from Child.parent_id: Child.proj() * pids returns (1, 1, 1), (1, 2, 1), (2, 1, 2) instead of the 6 rows above.
The same mistake also wraps the right side whenever the left side is a union, as in pids * Child.proj() (... CROSS JOIN (SELECT parent_id, child_id FROM child) AS ...). That subquery isn't needed, but the results are correct.
Expected
Child.proj() * pids returns the full cross product, like pids * Child.proj() does. The fix is isinstance(other, Union) at line 414. With that one change, all the queries in the table return the expected rows on both backends. The existing test (test_union_join in tests/integration/test_aggr_regressions.py) only puts the union on the left, so a test with the union on the right of a cross join should come with the fix.
- 主要言語
- Python
- スター
- 198
- フォーク
- 103
- 平均マージ
- 6日 1時間
- マージ済み PR(30日)
- 10
環境構築
- Dockerfile または Docker Compose ファイルあり
- プルリクエストのテンプレートなし
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
datajoint/datajoint-python のほかの issue
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
datajoint/datajoint-python#1703 ·
メンテナーはふだん 6 日以内に返信
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
datajoint/datajoint-python#1702 ·
メンテナーはふだん 6 日以内に返信
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
datajoint/datajoint-python#1701 ·
メンテナーはふだん 6 日以内に返信
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
datajoint/datajoint-python#1691 ·
メンテナーはふだん 6 日以内に返信
-
dependencies needs-discussion
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
datajoint/datajoint-python#1687 ·
メンテナーはふだん 6 日以内に返信
datajoint/datajoint-python の issue をすべて見る
似ている issue
-
needs-triage
難易度 1/5 1〜3時間 初心者へのやさしさ 85/100
gke-labs/kube-agents#6620 ·
メンテナーはふだん 1 日以内に返信
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
open-webui/open-webui#34719 · コメント 2 件 ·
メンテナーはふだん 1 日以内に返信
-
cognition
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
メンテナーはふだん 1 日以内に返信
-
One non-object JSON record makes the session catalog exit対応中かも @he-yufeng が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
メンテナーはふだん 1 日以内に返信
-
難易度 1/5 1時間未満 初心者へのやさしさ 78/100
collabnix/awesome-mcp-lists#433 ·
メンテナーはふだん 4 日以内に返信