`repeat` on `LargeUtf8` aborts the process on a result size no allocation can satisfy

Đang mở Phù hợp với người mới
  • Có gì không ổn?
#26,948 1 bình luận 0 reaction 1 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

@huong8373tt-beep đang làm issue này rồi.

Từ ngày 2/11/2026.

  • #26957 của @shahwazreza — đang mở
  • #27010 của @huong8373tt-beep — đã đóng, không merge

Đánh giá

Độ khó
2/5
Thời gian dự kiến
1-3 giờ
Mức phù hợp với người mới
72/100
Loại issue
Lỗi
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
rust
Lĩnh vực
backend

Hướng nghiên cứu

Bắt đầu trong datafusion/functions/src/string/repeat.rs, so sánh giới hạn LargeUtf8 ở đường dẫn scalar gần dòng 127-128 với đường dẫn mảng gần dòng 227-228. Đọc test_repeat_string_array_overflow và đoạn mã tái hiện, sau đó chọn cách giới hạn cố định hoặc try_reserve và khiến cả hai đường dẫn trả về lỗi cho count là 1 << 60. Thêm một bài kiểm thử hồi quy bao phủ LargeUtf8 scalar và trình tạo mảng, rồi chạy các bài kiểm thử repeat.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

bug good first issue

repeat on LargeUtf8 aborts the process on a result size no allocation can satisfy

Describe the bug

repeat caps the result at i32::MAX bytes for Utf8 and Utf8View, and returns an error above that. For LargeUtf8 the cap is i64::MAX, in both the scalar path and the array path. That cap admits sizes no allocation can satisfy. A result of 2^60 bytes (1 EiB) is larger than the virtual address space of x86_64 (48 or 57 bits) and aarch64 (at most 52 bits), so the allocator refuses it at once, whatever memory the machine has:

  • With both arguments scalar, s.repeat(count) cannot fail gracefully, so the refused allocation aborts the process: memory allocation of 1152921504606846976 bytes failed.
  • With an array of strings, the builder panics: failed to allocate memory for layout Layout { size: 1152921504606846976, align: 64 (1 << 6) }.

The existing test_repeat_string_array_overflow uses a count of i64::MAX, which the overflow check catches before any allocation.

To Reproduce

On main at 926901f90:

use std::sync::Arc;

use arrow::datatypes::Field;
use datafusion_common::ScalarValue;
use datafusion_common::config::ConfigOptions;
use datafusion_expr::{ColumnarValue, ReturnFieldArgs, ScalarFunctionArgs};
use datafusion_functions::string::repeat;

let udf = repeat();
let s = ScalarValue::LargeUtf8(Some("a".to_string()));
// With ScalarValue::Utf8: Err(Execution("string size overflow on repeat, max size is 2147483647, but got 1152921504606846976"))
let n = ScalarValue::Int64(Some(1 << 60));
let arg_fields = vec![
    Arc::new(Field::new("s", s.data_type(), true)),
    Arc::new(Field::new("n", n.data_type(), true)),
];
let return_field = udf
    .return_field_from_args(ReturnFieldArgs {
        arg_fields: &arg_fields,
        scalar_arguments: &[Some(&s), Some(&n)],
    })
    .unwrap();
let result = udf.invoke_with_args(ScalarFunctionArgs {
    args: vec![ColumnarValue::Scalar(s), ColumnarValue::Scalar(n)],
    arg_fields,
    number_rows: 1,
    return_field,
    config_options: Arc::new(ConfigOptions::default()),
});
// aborts: memory allocation of 1152921504606846976 bytes failed
Expected behavior

An error, as for Utf8, instead of an abort. Two fixes seem possible:

  • A fixed cap for LargeUtf8. PostgreSQL's repeat returns "requested length too large" above MaxAllocSize, 1 GB minus 1 (oracle_compat.c). DuckDB's strings are limited to u32::MAX bytes (MAX_STRING_SIZE).
  • Fallible allocation, such as try_reserve, so that a refused allocation becomes an error.

Which one should repeat use? Neither guards against an allocation that succeeds under overcommit and fails later when the pages are touched. Both turn this case, where the allocator refuses up front, into an error. #22688 tracks checked size accounting for string builders in general.

Additional context

Found by property-based tests that call each function with generated arguments, including large counts.

Willingness to contribute

I cannot contribute a fix for this bug at this time

Ngôn ngữ chính
Rust
Star
9.6k
Fork
2.6k
Merge trung bình
4 ngày 5 giờ
Pull request đã merge (30 ngày)
319

Chuẩn bị môi trường

Mở trong Codespaces

Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của apache/datafusion

Tất cả issue của apache/datafusion

Issue tương tự

Thêm issue về Rust

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.