should control the maximum memory usage

Offen

#736 erstellt am 30.4.2025 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit: 5/5
Geschätzter Aufwand: Über eine Woche
Anfängerfreundlichkeit: 35/100

Issue-Typ: Feature
Klarheit: Größtenteils klar
Aktivitätsstatus: Veraltet
Tech-Stack: java
Bereich: data-engineering

Rechercherichtung

Beginne mit ArrowVectorIterator::consume und der bestehenden Behandlung von targetBatchSize. Ermittle, wie eine maxBufferSize-Begrenzung mit der Erstellung von Record-Batches interagieren sollte, und definiere anschließend Tests für große Werte variabler Länge; die Aufgabe ist abgeschlossen, wenn die Iteration das Speicherlimit einhält, ohne einen übergroßen Batch zu erfordern.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

Type: enhancement

Describe the enhancement requested

ArrowVectorIterator::consume only concern about the ArrowVectorIterator#targetBatchSize but not the memory used.

Let's suppose a scenario:

A database table with a longtext field;
All of the rows in the table are larger than 500M;
ArrowVectorIterator#targetBatchSize is 256;

We need at least for 125G memory to get one record batch.

So I think it's better add a parameter such as maxBufferSize to control the memory usage.

Vorherrschende Sprache: Java
Sterne: 95
Forks: 154
Ø Merge: 2 T. 10 Std.
Gemergte PRs (30 T.): 11

Beitragsleitfaden

Beitragsleitfaden öffnen

Erste Schritte

Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
Forken Sie das Repository und arbeiten Sie in einem Branch.
Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus apache/arrow-java

DictionaryEncoder.decode accepts out-of-range dictionary indices Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 74/100

apache/arrow-java#1261 · Erstellt am 18.8.2026
ArrowFlightJdbcArray.getArray(index, count) can read past the end of the array slice Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100

apache/arrow-java#1236 · Erstellt am 20.7.2026
[Java][JDBC] ClobConsumer writes past VarCharVector data buffer for large CLOBs Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100

apache/arrow-java#1230 · Erstellt am 15.7.2026
Byte-array elements leak in `FromSchemaByteArray()` Offen

Type: bug

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 85/100

apache/arrow-java#1205 · Erstellt am 04.7.2026
[Java][IPC] AbstractCompressionCodec.compress() writes prefix=0 for empty buffers, incompatible with C++/Python readers Offen

Type: bug

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100

apache/arrow-java#1196 · 1 Kommentar · Erstellt am 29.6.2026

Alle Issues in apache/arrow-java