Use default chunk size as 4 MB than than 16Mb in arrow's rolling policy

Offen

#1,040 erstellt am 26.2.2026 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit: 2/5
Geschätzter Aufwand: 1-3 Stunden
Anfängerfreundlichkeit: 45/100

Issue-Typ: Feature
Klarheit: Größtenteils klar
Aktivitätsstatus: Veraltet
Tech-Stack: java
Bereich: performance

Rechercherichtung

Beginne damit, die Implementierung der Rolling Policy zu finden, die getRoundedSize und den Standardwert von chunkSize enthält, und lies anschließend, wie CommonUtil.nextPowerOfTwo verwendet wird. Vergleiche die Policy mit dem im Issue beschriebenen 4-MB-Standardwert von Netty. Als erledigt gilt die Änderung, wenn der Standardwert 4 MB verwendet und das bestehende Verhalten für Request-Größen durch die relevanten Tests abgedeckt ist, sofern vorhanden.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

Type: enhancement

Describe the enhancement requested

Apache Arrow currently calculates chunk sizes based on the assumption that Netty's PooledByteBufAllocatorL uses a 16MB page size. If size is blow 16MB, will use nextPowerOfTwo of requestSize.

  public long getRoundedSize(long requestSize) {
    return requestSize < chunkSize ? CommonUtil.nextPowerOfTwo(requestSize) : requestSize;
  }

However, Netty's default maximum buffer size has been reduced from 16MB to 4MB in recent versions (see https://github.com/netty/netty/pull/12108). This mismatch leads to memory inefficiency in scenarios where chunk sizes fall between 4MB and 16MB.

Vorherrschende Sprache: Java
Sterne: 95
Forks: 154
Ø Merge: 2 T. 10 Std.
Gemergte PRs (30 T.): 11

Beitragsleitfaden

Beitragsleitfaden öffnen

Erste Schritte

Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
Forken Sie das Repository und arbeiten Sie in einem Branch.
Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus apache/arrow-java

DictionaryEncoder.decode accepts out-of-range dictionary indices Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 74/100

apache/arrow-java#1261 · Erstellt am 18.8.2026
ArrowFlightJdbcArray.getArray(index, count) can read past the end of the array slice Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100

apache/arrow-java#1236 · Erstellt am 20.7.2026
[Java][JDBC] ClobConsumer writes past VarCharVector data buffer for large CLOBs Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100

apache/arrow-java#1230 · Erstellt am 15.7.2026
Byte-array elements leak in `FromSchemaByteArray()` Offen

Type: bug

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 85/100

apache/arrow-java#1205 · Erstellt am 04.7.2026
[Java][IPC] AbstractCompressionCodec.compress() writes prefix=0 for empty buffers, incompatible with C++/Python readers Offen

Type: bug

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100

apache/arrow-java#1196 · 1 Kommentar · Erstellt am 29.6.2026

Alle Issues in apache/arrow-java