postgres/spark/trino -> duckdb: ARRAY_REMOVE emits _u <> target and drops NULL elements

オープン 初心者向け
#9,301 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る

メンテナーはふだん 1 日以内に返信

まだ誰も着手していません。

評価

難易度
2/5
見積もり時間
1〜3時間
初心者へのやさしさ
74/100
issue の種類
バグ
明瞭さ
明確に書かれている
活発さ
活発
技術スタック
postgresql, python, spark
領域
databases

調査の方向性

remove_from_array_using_filter から始めます。場所は sqlglot/dialects/dialect.py の 2754 行目付近で、そこでは lambda 本体が exp.NEQ として構築され、_u <> target として出力されます。issue の 2 つの transpile スニペットを実行して再現し、次に比較を exp.NullSafeNEQ に置き換え、両方のケースがそれぞれ [1, None] と [1, 2, 2] を返すこと、さらに ARRAY_FUNCS_PROPAGATES_NULLS ラッパーが spark/trino/snowflake で引き続き成り立つことを確認します。完了とは、既存の dialect テスト (tests/dialects/test_duckdb.py, test_postgres.py, test_spark.py) が通り、NULL 要素と NULL ターゲットに対する回帰ケースが追加されていることです。

索引モデルが issue の本文から書いたものです。

説明

Before you file an issue

  • Read dialect: postgres (also affects spark, trino, snowflake)
  • Write dialect: duckdb (also affects clickhouse via remove_from_array_using_filter)
  • Verified on main @ 089891f2521780e2c5b243005017af9db62f25a6

Fully reproducible code snippet

remove_from_array_using_filter (sqlglot/dialects/dialect.py:2754) builds exp.NEQ(this=lambda_id, expression=expression.expression), emitting _u <> target. Under SQL three-valued logic, both NULL <> 2 and _u <> NULL evaluate to NULL, which DuckDB's LIST_FILTER treats as false:

import duckdb
import sqlglot

# 1. Non-NULL target: NULL elements inside the array are silently dropped
s1 = sqlglot.transpile(
    "SELECT ARRAY_REMOVE(ARRAY[1, 2, NULL, 2], 2)",
    read="postgres",
    write="duckdb",
)[0]
print(s1)
# SELECT LIST_FILTER([1, 2, NULL, 2], LAMBDA _u : _u <> 2)
print(duckdb.sql(s1).fetchall())
# [([1],)]  -- expected: [([1, None],)] (same for spark and trino -> duckdb)

# 2. NULL target in Postgres: all elements are dropped instead of removing NULLs
s2 = sqlglot.transpile(
    "SELECT ARRAY_REMOVE(ARRAY[1, 2, NULL, 2], NULL)",
    read="postgres",
    write="duckdb",
)[0]
print(s2)
# SELECT LIST_FILTER([1, 2, NULL, 2], LAMBDA _u : _u <> NULL)
print(duckdb.sql(s2).fetchall())
# [([],)]   -- expected: [([1, 2, 2],)]

Using exp.NullSafeNEQ (_u IS DISTINCT FROM target) preserves NULL elements when target is non-NULL ([1, None]), removes NULL elements for Postgres ARRAY_REMOVE(arr, NULL) ([1, 2, 2]), keeps NULL arrays as NULL, and stays compatible with the existing ARRAY_FUNCS_PROPAGATES_NULLS CASE WHEN target IS NULL THEN NULL ELSE ... END wrapper for dialects like Snowflake/Spark/Trino.

Official Documentation

主要言語
Python
スター
9.8k
フォーク
1.4k
平均マージ
10時間 52分
マージ済み PR(30日)
303

環境構築

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

tobymao/sqlglot のほかの issue

tobymao/sqlglot の issue をすべて見る

似ている issue

Python の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。