BitShuffle#shuffle for arrays of primitive datatypes does not consider the byte-order (leading to wrong results)

Aperta
#297 1 commento 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
35/100
Tipo di issue
Bug
Chiarezza
Abbastanza chiara
Stato di attività
Ferma
Stack tecnologico
java
Ambito
backend

Direzione di ricerca

Start by locating the Java wrapper methods for BitShuffle shuffle and unshuffle and the tests that cover primitive arrays; the issue names no file or test. Check how those methods pass arrays to the native library and how platform byte order is handled. Done means primitive-array shuffle/unshuffle results are consistent across little- and big-endian platforms.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

The underlying BitShuffle library works internally with an algorithm that was designed for the little-endian format. For this reason, the input data must always be passed in little-endian format.

However, the snappy-java wrapper directly passes an int[] array with the native byte order. Thus the Java implementation does not give the same results on little-endian and big-endian platforms for the shuffle / unshuffle methods.

The shuffle/unshuffle methods still work bijective so this issue is not easily noticeable.

How to fix:

The data array based on primitive types (e.g. int[], short[], long[], etc.) must be converted to little-endian format in the Java implementation if executed on big-endian platforms (before passing the buffer to the external library).

Lingua principale
Java
Stelle
1.1k
Fork
261
Merge medio
2m
PR unite (30g)
2

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di xerial/snappy-java

Tutte le issue di xerial/snappy-java

Issue simili

Altre issue su Java

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.