Restricting by a dj.Top expression fails on MySQL (error 1235)

オープン
#1,669 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る

メンテナーはふだん 6 日以内に返信

まだ誰も着手していません。

評価

難易度
3/5
見積もり時間
1〜2日
初心者へのやさしさ
62/100
issue の種類
バグ
明瞭さ
明確に書かれている
活発さ
活発
技術スタック
mysql, postgresql, python, sql
領域
databases

調査の方向性

Start at make_condition in condition.py around line 455, where a query-expression restriction is rendered as an IN subquery, and check how a _top adds ORDER BY and LIMIT to that SQL. Run the reproducer from the issue against MySQL 8.0 and PostgreSQL 16 to confirm the error 1235 on MySQL and the count of 6 on PostgreSQL. Done when the query returns 6 on both backends, with the MySQL-compatible form the issue describes (a derived table) as one option.

索引モデルが issue の本文から書いたものです。

説明

bug

Using a dj.Top expression as a restriction (S & (T & dj.Top(...))) fails on MySQL, which does not support LIMIT inside an IN subquery. PostgreSQL returns the correct result.

Reproduced on master @ 3c912c46 against MySQL 8.0 and PostgreSQL 16. Connection via DJ_HOST/DJ_USER/DJ_PASS/DJ_BACKEND. Found while benchmarking subquery pruning (#1665).

Reproducible example
import datajoint as dj

schema = dj.Schema("repro_top")


@schema
class T(dj.Manual):
    definition = """
    t_id : int32
    ---
    x : int32
    y : int32
    """


@schema
class S(dj.Manual):
    definition = """
    -> T
    s_id : int32
    """


T.insert([(i, i, 100 - i) for i in range(10)], skip_duplicates=True)
S.insert([(i, j) for i in range(10) for j in range(2)], skip_duplicates=True)

q = S & (T & dj.Top(3, "x"))  # S rows whose T is among the 3 with the smallest x
print(len(q.to_dicts()))  # expected: 6
Actual

MySQL:

pymysql.err.NotSupportedError: (1235, "This version of MySQL doesn't yet support 'LIMIT & IN/ALL/ANY/SOME subquery'")

PostgreSQL: 6 (correct).

Expected

6 on both backends.

Cause

make_condition (condition.py:455) renders a query-expression restriction as (attrs) IN (<condition.make_sql(attrs)>). When the condition has a _top, its SQL ends in ORDER BY ... LIMIT n, which MySQL rejects inside IN.

The usual workaround is to wrap it in a derived table, IN (SELECT ... FROM (<subquery with LIMIT>) AS x). MySQL accepts that form, and it is equivalent on PostgreSQL.

主要言語
Python
スター
198
フォーク
103
平均マージ
6日 1時間
マージ済み PR(30日)
10

環境構築

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

datajoint/datajoint-python のほかの issue

datajoint/datajoint-python の issue をすべて見る

似ている issue

Python の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。