Spark/Databricks: `CACHE TABLE t;` is rejected (only EOF ends the optional query)

Đang mở Phù hợp với người mới
  • Có gì không ổn?
#2,801 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
2/5
Thời gian dự kiến
1-3 giờ
Mức phù hợp với người mới
68/100
Loại issue
Lỗi
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
rust, spark, sql
Lĩnh vực
databases

Hướng nghiên cứu

Kiểm tra bị lỗi nằm trong parse_cache_table, nơi kiểm tra EOF trước khi gọi parse_as_query, nên một ; bị gửi tới bộ phân tích truy vấn. So sánh với bản sửa UNCACHE trong #1320 và làm cho truy vấn tùy chọn cũng coi ; là điểm kết thúc. Hoàn thành khi CACHE TABLE t; SELECT 1 và biến thể CACHE LAZY TABLE ... OPTIONS (...) đều được phân tích thành hai câu lệnh, dùng các bài kiểm tra của SparkSqlDialect và DatabricksDialect.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Databricks Prolific Author Spark

CACHE TABLE <name> without a query only parses at the end of input. A ; after it is an error:

CACHE TABLE t;
  -> sql parser error: Expected: a QUERY statement, found: ; at Line: 1, Column: 14
CACHE TABLE t; SELECT 1
CACHE LAZY TABLE t OPTIONS ('storageLevel' = 'DISK_ONLY'); SELECT 1
  -> same error
CACHE TABLE t AS SELECT 1; SELECT 1
  -> 2 statements (fine)

parse_cache_table checks peek_token_ref().token == Token::EOF before calling parse_as_query, so ; goes to the query parser. UNCACHE had the same problem (#1244, fixed in #1320).

Grammar ([ [ AS ] query ] is optional): https://spark.apache.org/docs/latest/sql-ref-syntax-aux-cache-cache-table.html, https://docs.databricks.com/aws/en/sql/language-manual/sql-ref-syntax-aux-cache-cache-table

Tested with SparkSqlDialect and DatabricksDialect on main ce12f1f6 (also 0.63.0 and 0.58.0).

Found with a property-based fuzzer (round trip and statement-separation checks); I used AI assistance for triage and verified every case above.

Ngôn ngữ chính
Rust
Star
3.5k
Fork
801
Merge trung bình
2 ngày 21 giờ
Pull request đã merge (30 ngày)
104

Chuẩn bị môi trường

  • Không có Dockerfile hay tệp Docker Compose
  • Có mẫu pull request
  • Không có hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của apache/datafusion-sqlparser-rs

Tất cả issue của apache/datafusion-sqlparser-rs

Issue tương tự

Thêm issue về Rust

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.