Restricting by a dj.Top expression fails on MySQL (error 1235)

Ouverte
#1,669 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Les mainteneurs répondent en général sous 6 jours

Personne n'a encore pris cette issue.

Évaluation

Difficulté
3/5
Temps estimé
1-2 jours
Accessibilité débutants
62/100
Type d'issue
Bug
Clarté
Clairement spécifiée
Activité
Active
Stack technique
mysql, postgresql, python, sql
Domaine
databases

Piste de recherche

Start at make_condition in condition.py around line 455, where a query-expression restriction is rendered as an IN subquery, and check how a _top adds ORDER BY and LIMIT to that SQL. Run the reproducer from the issue against MySQL 8.0 and PostgreSQL 16 to confirm the error 1235 on MySQL and the count of 6 on PostgreSQL. Done when the query returns 6 on both backends, with the MySQL-compatible form the issue describes (a derived table) as one option.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

bug

Using a dj.Top expression as a restriction (S & (T & dj.Top(...))) fails on MySQL, which does not support LIMIT inside an IN subquery. PostgreSQL returns the correct result.

Reproduced on master @ 3c912c46 against MySQL 8.0 and PostgreSQL 16. Connection via DJ_HOST/DJ_USER/DJ_PASS/DJ_BACKEND. Found while benchmarking subquery pruning (#1665).

Reproducible example
import datajoint as dj

schema = dj.Schema("repro_top")


@schema
class T(dj.Manual):
    definition = """
    t_id : int32
    ---
    x : int32
    y : int32
    """


@schema
class S(dj.Manual):
    definition = """
    -> T
    s_id : int32
    """


T.insert([(i, i, 100 - i) for i in range(10)], skip_duplicates=True)
S.insert([(i, j) for i in range(10) for j in range(2)], skip_duplicates=True)

q = S & (T & dj.Top(3, "x"))  # S rows whose T is among the 3 with the smallest x
print(len(q.to_dicts()))  # expected: 6
Actual

MySQL:

pymysql.err.NotSupportedError: (1235, "This version of MySQL doesn't yet support 'LIMIT & IN/ALL/ANY/SOME subquery'")

PostgreSQL: 6 (correct).

Expected

6 on both backends.

Cause

make_condition (condition.py:455) renders a query-expression restriction as (attrs) IN (<condition.make_sql(attrs)>). When the condition has a _top, its SQL ends in ORDER BY ... LIMIT n, which MySQL rejects inside IN.

The usual workaround is to wrap it in a derived table, IN (SELECT ... FROM (<subquery with LIMIT>) AS x). MySQL accepts that form, and it is equivalent on PostgreSQL.

Langage dominant
Python
Étoiles
198
Forks
103
Merge moyen
6 j 1 h
PR mergées (30 j)
10

Préparer son environnement

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de datajoint/datajoint-python

Toutes les issues de datajoint/datajoint-python

Issues similaires

Plus d'issues Python

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.