postgres/spark/trino -> duckdb: ARRAY_REMOVE emits _u <> target and drops NULL elements
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 2/5
- 見積もり時間
- 1〜3時間
- 初心者へのやさしさ
- 74/100
調査の方向性
remove_from_array_using_filter から始めます。場所は sqlglot/dialects/dialect.py の 2754 行目付近で、そこでは lambda 本体が exp.NEQ として構築され、_u <> target として出力されます。issue の 2 つの transpile スニペットを実行して再現し、次に比較を exp.NullSafeNEQ に置き換え、両方のケースがそれぞれ [1, None] と [1, 2, 2] を返すこと、さらに ARRAY_FUNCS_PROPAGATES_NULLS ラッパーが spark/trino/snowflake で引き続き成り立つことを確認します。完了とは、既存の dialect テスト (tests/dialects/test_duckdb.py, test_postgres.py, test_spark.py) が通り、NULL 要素と NULL ターゲットに対する回帰ケースが追加されていることです。
索引モデルが issue の本文から書いたものです。
説明
Before you file an issue
- Read dialect:
postgres(also affectsspark,trino,snowflake) - Write dialect:
duckdb(also affectsclickhouseviaremove_from_array_using_filter) - Verified on
main@089891f2521780e2c5b243005017af9db62f25a6
Fully reproducible code snippet
remove_from_array_using_filter (sqlglot/dialects/dialect.py:2754) builds exp.NEQ(this=lambda_id, expression=expression.expression), emitting _u <> target. Under SQL three-valued logic, both NULL <> 2 and _u <> NULL evaluate to NULL, which DuckDB's LIST_FILTER treats as false:
import duckdb
import sqlglot
# 1. Non-NULL target: NULL elements inside the array are silently dropped
s1 = sqlglot.transpile(
"SELECT ARRAY_REMOVE(ARRAY[1, 2, NULL, 2], 2)",
read="postgres",
write="duckdb",
)[0]
print(s1)
# SELECT LIST_FILTER([1, 2, NULL, 2], LAMBDA _u : _u <> 2)
print(duckdb.sql(s1).fetchall())
# [([1],)] -- expected: [([1, None],)] (same for spark and trino -> duckdb)
# 2. NULL target in Postgres: all elements are dropped instead of removing NULLs
s2 = sqlglot.transpile(
"SELECT ARRAY_REMOVE(ARRAY[1, 2, NULL, 2], NULL)",
read="postgres",
write="duckdb",
)[0]
print(s2)
# SELECT LIST_FILTER([1, 2, NULL, 2], LAMBDA _u : _u <> NULL)
print(duckdb.sql(s2).fetchall())
# [([],)] -- expected: [([1, 2, 2],)]
Using exp.NullSafeNEQ (_u IS DISTINCT FROM target) preserves NULL elements when target is non-NULL ([1, None]), removes NULL elements for Postgres ARRAY_REMOVE(arr, NULL) ([1, 2, 2]), keeps NULL arrays as NULL, and stays compatible with the existing ARRAY_FUNCS_PROPAGATES_NULLS CASE WHEN target IS NULL THEN NULL ELSE ... END wrapper for dialects like Snowflake/Spark/Trino.
Official Documentation
- PostgreSQL
array_remove("Comparisons are done usingIS NOT DISTINCT FROMsemantics, so it is possible to removeNULLs"): https://www.postgresql.org/docs/current/functions-array.html - Apache Spark
array_remove: https://spark.apache.org/docs/latest/api/sql/index.html#array_remove - Trino
array_remove: https://trino.io/docs/current/functions/array.html#array_remove - DuckDB
list_filter: https://duckdb.org/docs/stable/sql/functions/list.html#list_filterlist-lambda
- 主要言語
- Python
- スター
- 9.8k
- フォーク
- 1.4k
- 平均マージ
- 10時間 52分
- マージ済み PR(30日)
- 303
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートなし
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
tobymao/sqlglot のほかの issue
-
難易度 1/5 1時間未満 初心者へのやさしさ 85/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 74/100
メンテナーはふだん 1 日以内に返信
-
難易度 3/5 1〜2日 初心者へのやさしさ 66/100
メンテナーはふだん 1 日以内に返信
-
難易度 3/5 1〜2日 初心者へのやさしさ 65/100
メンテナーはふだん 1 日以内に返信
tobymao/sqlglot の issue をすべて見る
似ている issue
-
難易度 1/5 1時間未満 初心者へのやさしさ 86/100
py-econometrics/pyfixest#2072 ·
メンテナーはふだん 1 日以内に返信
-
~planning docs
難易度 2/5 1〜3時間 初心者へのやさしさ 64/100
Kromatic-Innovation/athenaeum#3084 ·
メンテナーはふだん 1 日以内に返信
-
Bosch Room Thermostat II number entities offer -500 to 3000 °C setpoint limits and a -32768 to 32767 °C outdoor temperature対応中かも @zigpy-review-bot が今日担当しました。 オープンbot: code audit
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
zigpy/zha-device-handlers#5769 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 半日 初心者へのやさしさ 80/100
R0Y00/Xbox2Windows#254 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 85/100
Kludex/python-multipart#375 ·
メンテナーはふだん 1 日以内に返信