Adoption of the Apache Arrow memory alignment and padding?

Offen

#771 erstellt am 30.12.2019 24 Kommentare 13 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit: 5/5
Geschätzter Aufwand: Über eine Woche
Anfängerfreundlichkeit: 25/100

Issue-Typ: Feature
Klarheit: Muss geklärt werden
Aktivitätsstatus: Veraltet
Tech-Stack: rust
Bereich: data

Rechercherichtung

Start by locating where ndarray allocates array memory and compare those paths with Apache Arrow's memory alignment, padding, and Buffer requirements. The issue names no ndarray files or tests, so first determine the relevant allocation entry points and whether zero-copy conversion is feasible; done would require a decided integration approach and corresponding implementation or design agreement.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

Hi,

I'm just trying to get a sense of the level of interest from the ndarray developers regarding adopting the Apache Arrow memory layout and padding.

I have been wanting to build integrations between Arrow and ndarray for some time. Today it should be easy enough to build a zero-copy converter to ndarray types. Arrow has a tensor type and this could be converted (with the optional names for dimensions in Arrow dropped).

However, without guarantees over the memory alignment and padding assumptions you could not go back to Arrow with zero-copy. The easiest way to do this would be for ndarray to use the Arrow functions that allocate memory through the Arrow Buffer type.

Arrow is attempting to make integrations between crates easier, I noticed this issue today. This is the kind of issue we could avoid.

In general, I think that Arrow and ndarray fit together quite nicely where Arrow could provide alot of help processing data and ndarray provides all the algorithms once data is cleaned and in-memory.

I'm not very familiar with the ndarray codebase, if this sounds like a good idea could you point me to where you allocate memory etc. and any other information that might help?

Vorherrschende Sprache: Rust
Sterne: 4.3k
Forks: 391
PR-Merge-Kennzahlen: Keine gemergten PRs in 30 T.

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Erste Schritte

Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
Forken Sie das Repository und arbeiten Sie in einem Branch.
Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus rust-ndarray/ndarray

.is_all_nan() returns true for an all-finite array Offen

Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100

rust-ndarray/ndarray#1612 · 1 Kommentar · Erstellt am 08.8.2026
failed Send inference with ndarray v0.17 and uom 0.38 Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 48/100

rust-ndarray/ndarray#1617 · 1 Kommentar · Erstellt am 09.9.2026
Stack overflow in `triu` Offen

bug good first issue

Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 68/100

rust-ndarray/ndarray#1615 · 1 Kommentar · Erstellt am 08.9.2026
Type covariance absent when used in struct Offen

Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 48/100

rust-ndarray/ndarray#1610 · Erstellt am 27.7.2026
Empty Array lead to "The strides must not allow any element to be referenced by two different indices" Offen

Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 72/100

rust-ndarray/ndarray#1609 · Erstellt am 23.7.2026

Alle Issues in rust-ndarray/ndarray