Avro adapter: setPosition doesn't work with BaseVariableWidthVectors

Offen

#833 erstellt am 31.8.2025 2 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit: 4/5
Geschätzter Aufwand: 3-5 Tage
Anfängerfreundlichkeit: 35/100

Issue-Typ: Bug
Klarheit: Muss geklärt werden
Aktivitätsstatus: Veraltet
Tech-Stack: java
Bereich: data

Rechercherichtung

Beginne damit, das Verhalten von Consumer.setPosition im Avro-Adapter mit auf BaseVariableWidthVector basierenden Instanzen von VarBinaryVector und VarCharVector nachzuverfolgen. Reproduziere die Schreibsequenz 0, 2, 1, 3 und füge einen Regressionstest hinzu; abgeschlossen ist die Aufgabe, wenn das Positionieren zuvor geschriebene Daten nicht mehr löscht oder für diese Vektoren verhindert wird.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

Type: bug

Describe the bug, including details regarding any error messages, version, and platform.

BaseVariableWidthVector-based vectors (VarBinaryVector, VarCharVector) expect the data to be written sequentially. This means Consumer.setPosition is not safe to use. Imagine the following scenario:

write index 0
write index 2
write index 1
write index 3

On the last step, BaseVariableWidthVector.fillHoles erases the data written for the index 2:

  protected final void fillHoles(int index) {
    for (int i = lastSet + 1; i < index; i++) {
      setBytes(i, emptyByteArray, 0, emptyByteArray.length);
    }
    lastSet = index - 1;
  }

Here, index would be 3, lastSet + 1 would be 2 (1 + 1), so setBytes(2, emptyByteArray, ...) is called.

Not sure what the right solution is here, but at a minimum, the library shouldn't allow calling setPosition for Consumers using BaseVariableWidthVector vectors.

Vorherrschende Sprache: Java
Sterne: 95
Forks: 154
Ø Merge: 2 T. 10 Std.
Gemergte PRs (30 T.): 11

Beitragsleitfaden

Beitragsleitfaden öffnen

Erste Schritte

Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
Forken Sie das Repository und arbeiten Sie in einem Branch.
Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus apache/arrow-java

DictionaryEncoder.decode accepts out-of-range dictionary indices Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 74/100

apache/arrow-java#1261 · Erstellt am 18.8.2026
ArrowFlightJdbcArray.getArray(index, count) can read past the end of the array slice Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100

apache/arrow-java#1236 · Erstellt am 20.7.2026
[Java][JDBC] ClobConsumer writes past VarCharVector data buffer for large CLOBs Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100

apache/arrow-java#1230 · Erstellt am 15.7.2026
Byte-array elements leak in `FromSchemaByteArray()` Offen

Type: bug

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 85/100

apache/arrow-java#1205 · Erstellt am 04.7.2026
[Java][IPC] AbstractCompressionCodec.compress() writes prefix=0 for empty buffers, incompatible with C++/Python readers Offen

Type: bug

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100

apache/arrow-java#1196 · 1 Kommentar · Erstellt am 29.6.2026

Alle Issues in apache/arrow-java