keys() and to_arrays(attr) fail on an aggregation with dj.Top ordered by an aggregate
Los mantenedores suelen responder en 6 días
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Aptitud para principiantes
- 65/100
Línea de trabajo
Start by running the reproduction against a local backend to see keys() and to_arrays("t_id") fail while to_dicts() succeeds. The cause points at Aggregation.make_sql(fields) around expression.py:1355: read how the select list is built versus how the ORDER BY and HAVING clauses are carried through, including the PostgreSQL HAVING wrapping path. Done means the ORDER BY attributes and HAVING aliases are always selected inside the aggregation and the requested fields are projected by an outer SELECT.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
An aggregation restricted by dj.Top and ordered by a computed attribute works with to_dicts(), to_arrays() and len(). It fails with keys() and to_arrays("attr") whenever the ordering attribute is not among the selected fields.
Reproduced on master @ 3c912c46 against MySQL 8.0 and PostgreSQL 16. Connection via DJ_HOST/DJ_USER/DJ_PASS/DJ_BACKEND. Found while benchmarking subquery pruning (#1665).
Reproducible example
import datajoint as dj
schema = dj.Schema("repro_top")
@schema
class T(dj.Manual):
definition = """
t_id : int32
---
x : int32
y : int32
"""
@schema
class S(dj.Manual):
definition = """
-> T
s_id : int32
"""
T.insert([(i, i, 100 - i) for i in range(10)], skip_duplicates=True)
S.insert([(i, j) for i in range(10) for j in range(2)], skip_duplicates=True)
q = T.aggr(S, n="count(*)") & dj.Top(3, "n DESC, t_id")
print(q.to_dicts()) # works
print(len(q)) # works
print(q.keys()) # fails
print(q.to_arrays("t_id")) # fails
Actual
MySQL:
[{'t_id': 0, 'n': 2}, {'t_id': 1, 'n': 2}, {'t_id': 2, 'n': 2}]
3
datajoint.errors.UnknownAttributeError: Unknown column 'n' in 'order clause'
PostgreSQL:
datajoint.errors.UnknownAttributeError: column "n" does not exist
LINE 1: ..._top"."s" USING ("t_id") GROUP BY "t_id" ORDER BY "n" DESC, ...
SQL generated for q.proj():
SELECT DISTINCT `t_id` FROM `repro_top`.`t` LEFT JOIN `repro_top`.`s` USING (`t_id`) GROUP BY `t_id` ORDER BY `n` DESC, `t_id` LIMIT 3
Expected
keys() returns the 3 keys, and to_arrays("t_id") returns an array of 3 ids.
Cause
Fetching specific fields calls Aggregation.make_sql(fields) (expression.py:1355), which selects only those fields. Its ORDER BY, however, still names the aggregate alias n. Once n is not in the select list, the alias no longer exists. The PostgreSQL path wraps the aggregation for HAVING, but the same problem applies there.
Fix: always select the ORDER BY attributes (and HAVING aliases) inside the aggregation. When the requested fields differ, wrap the aggregation in an outer SELECT <fields>.
- Lenguaje dominante
- Python
- Estrellas
- 198
- Forks
- 103
- Merge medio
- 6 d 1 h
- PR fusionados (30 d)
- 10
Preparar el entorno
- Incluye un Dockerfile o un archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de datajoint/datajoint-python
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
datajoint/datajoint-python#1703 ·
Los mantenedores suelen responder en 6 días
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
datajoint/datajoint-python#1702 ·
Los mantenedores suelen responder en 6 días
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
datajoint/datajoint-python#1701 ·
Los mantenedores suelen responder en 6 días
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
datajoint/datajoint-python#1691 ·
Los mantenedores suelen responder en 6 días
-
dependencies needs-discussion
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
datajoint/datajoint-python#1687 ·
Los mantenedores suelen responder en 6 días
Todos los issues de datajoint/datajoint-python
Issues similares
-
cognition
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
Los mantenedores suelen responder en 1 día
-
[Suggestion]: Geonode MCP ServerAbierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 78/100
collabnix/awesome-mcp-lists#433 ·
Los mantenedores suelen responder en 4 días
-
CrossEntropyFilter raises on zero probabilities and single-class resultsPosiblemente ocupada @NopeCharon la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Archmonger/ServeStatic#129 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
Los mantenedores suelen responder en 2 días