`repeat` on `LargeUtf8` aborts the process on a result size no allocation can satisfy

Geschlossen Anfängerfreundlich
  • Stimmt etwas nicht?
#26,948 1 Kommentar 0 Reaktionen 1 zugewiesene Person Auf GitHub ansehen

Maintainer antworten meist innerhalb von 1 Tag

@huong8373tt-beep arbeitet bereits daran.

Seit 02.11.2026.

  • #26957 von @shahwazreza — gemerged
  • #27010 von @huong8373tt-beep — ohne Merge geschlossen

Bewertung

Schwierigkeit
2/5
Geschätzter Aufwand
1-3 Stunden
Anfängerfreundlichkeit
72/100
Issue-Typ
Bug
Klarheit
Klar beschrieben
Aktivitätsstatus
Aktiv
Tech-Stack
rust
Bereich
backend

Rechercherichtung

Beginne in datafusion/functions/src/string/repeat.rs und vergleiche das LargeUtf8-Limit im Skalarpfad nahe den Zeilen 127-128 mit dem Array-Pfad nahe den Zeilen 227-228. Lies test_repeat_string_array_overflow und das Reproduktionssnippet, wähle dann den Fixed-Cap- oder try_reserve-Ansatz und sorge dafür, dass beide Pfade bei einem Count von 1 << 60 einen Fehler zurückgeben. Füge einen Regressionstest hinzu, der den skalaren LargeUtf8-Pfad und den Array-Builder abdeckt, und führe die Repeat-Tests aus.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

bug good first issue

repeat on LargeUtf8 aborts the process on a result size no allocation can satisfy

Describe the bug

repeat caps the result at i32::MAX bytes for Utf8 and Utf8View, and returns an error above that. For LargeUtf8 the cap is i64::MAX, in both the scalar path and the array path. That cap admits sizes no allocation can satisfy. A result of 2^60 bytes (1 EiB) is larger than the virtual address space of x86_64 (48 or 57 bits) and aarch64 (at most 52 bits), so the allocator refuses it at once, whatever memory the machine has:

  • With both arguments scalar, s.repeat(count) cannot fail gracefully, so the refused allocation aborts the process: memory allocation of 1152921504606846976 bytes failed.
  • With an array of strings, the builder panics: failed to allocate memory for layout Layout { size: 1152921504606846976, align: 64 (1 << 6) }.

The existing test_repeat_string_array_overflow uses a count of i64::MAX, which the overflow check catches before any allocation.

To Reproduce

On main at 926901f90:

use std::sync::Arc;

use arrow::datatypes::Field;
use datafusion_common::ScalarValue;
use datafusion_common::config::ConfigOptions;
use datafusion_expr::{ColumnarValue, ReturnFieldArgs, ScalarFunctionArgs};
use datafusion_functions::string::repeat;

let udf = repeat();
let s = ScalarValue::LargeUtf8(Some("a".to_string()));
// With ScalarValue::Utf8: Err(Execution("string size overflow on repeat, max size is 2147483647, but got 1152921504606846976"))
let n = ScalarValue::Int64(Some(1 << 60));
let arg_fields = vec![
    Arc::new(Field::new("s", s.data_type(), true)),
    Arc::new(Field::new("n", n.data_type(), true)),
];
let return_field = udf
    .return_field_from_args(ReturnFieldArgs {
        arg_fields: &arg_fields,
        scalar_arguments: &[Some(&s), Some(&n)],
    })
    .unwrap();
let result = udf.invoke_with_args(ScalarFunctionArgs {
    args: vec![ColumnarValue::Scalar(s), ColumnarValue::Scalar(n)],
    arg_fields,
    number_rows: 1,
    return_field,
    config_options: Arc::new(ConfigOptions::default()),
});
// aborts: memory allocation of 1152921504606846976 bytes failed
Expected behavior

An error, as for Utf8, instead of an abort. Two fixes seem possible:

  • A fixed cap for LargeUtf8. PostgreSQL's repeat returns "requested length too large" above MaxAllocSize, 1 GB minus 1 (oracle_compat.c). DuckDB's strings are limited to u32::MAX bytes (MAX_STRING_SIZE).
  • Fallible allocation, such as try_reserve, so that a refused allocation becomes an error.

Which one should repeat use? Neither guards against an allocation that succeeds under overcommit and fails later when the pages are touched. Both turn this case, where the allocator refuses up front, into an error. #22688 tracks checked size accounting for string builders in general.

Additional context

Found by property-based tests that call each function with generated arguments, including large counts.

Willingness to contribute

I cannot contribute a fix for this bug at this time

Vorherrschende Sprache
Rust
Sterne
9.6k
Forks
2.6k
Ø Merge
3 T. 10 Std.
Gemergte PRs (30 T.)
326

Entwicklungsumgebung

In Codespaces öffnen

Startet den Dev-Container des Projekts im Browser, mit Ihrem eigenen GitHub-Konto.

Erste Schritte

  1. Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
  3. Forken Sie das Repository und arbeiten Sie in einem Branch.
  4. Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus apache/datafusion

Alle Issues in apache/datafusion

Ähnliche Issues

Weitere Issues zu Rust

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.