How to iterate over a record batch?

Offen

#468 erstellt am 26.12.2024 4 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit: 3/5
Geschätzter Aufwand: 1-2 Tage
Anfängerfreundlichkeit: 25/100

Issue-Typ: Dokumentation
Klarheit: Muss geklärt werden
Aktivitätsstatus: Veraltet
Tech-Stack: java
Bereich: data

Rechercherichtung

Beginne mit der im Issue beschriebenen Verwendung von VectorSchemaRoot, getVector, getObject und contentToTSVString und vergleiche sie anschließend mit der dort verlinkten Java-Dokumentation. Ermittle die dokumentierte Vorgehensweise, jeden Vektor mit seinem konkreten Java-Typ zu lesen, und betrachte die Arbeit als abgeschlossen, wenn ein Neuling über einen Batch iterieren kann, ohne Typzuordnungen durch Reverse Engineering ermitteln oder Strings erneut parsen zu müssen.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

Type: usage

Describe the usage question you have. Please include as many useful details as possible.

Now I have a VectorSchemaRoot. I can see to iterate over the batch with getVector and then getObject.

But the return value is of type Obejct. And I wonder how I can downcast it for some useful class I can retrieve the real value (string, int, float, etc.).

I know we have the field info of each vetcor, but I don't know the mapping between field type to real Java class. It looks over challenge to remember all the mapping by reverse engineering the code, and it may change as version evolves.

I checked https://arrow.apache.org/docs/java/index.html but all the pages tell about constructing a batch and how to move it from one place to another, rather than tell about how to read and dump a batch to a typed two-dimensional matrix.

The most trivial usage, contentToTSVString, call Object::toString on each cell. But I don't thing we should convert all the values to String and reparse it to concrete type.

Vorherrschende Sprache: Java
Sterne: 95
Forks: 154
Ø Merge: 2 T. 10 Std.
Gemergte PRs (30 T.): 11

Beitragsleitfaden

Beitragsleitfaden öffnen

Erste Schritte

Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
Forken Sie das Repository und arbeiten Sie in einem Branch.
Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus apache/arrow-java

DictionaryEncoder.decode accepts out-of-range dictionary indices Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 74/100

apache/arrow-java#1261 · Erstellt am 18.8.2026
ArrowFlightJdbcArray.getArray(index, count) can read past the end of the array slice Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100

apache/arrow-java#1236 · Erstellt am 20.7.2026
[Java][JDBC] ClobConsumer writes past VarCharVector data buffer for large CLOBs Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100

apache/arrow-java#1230 · Erstellt am 15.7.2026
Byte-array elements leak in `FromSchemaByteArray()` Offen

Type: bug

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 85/100

apache/arrow-java#1205 · Erstellt am 04.7.2026
[Java][IPC] AbstractCompressionCodec.compress() writes prefix=0 for empty buffers, incompatible with C++/Python readers Offen

Type: bug

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100

apache/arrow-java#1196 · 1 Kommentar · Erstellt am 29.6.2026

Alle Issues in apache/arrow-java