Character matrices with more than one row come back transposed from <blob>

Abierto Apto para principiantes
#1,702 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Los mantenedores suelen responder en 6 días

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
2/5
Tiempo estimado
1-3 horas
Aptitud para principiantes
78/100
Tipo de issue
Error
Claridad
Bien especificado
Estado de actividad
Activo
Stack tecnológico
mysql, numpy, postgresql, python
Área
databases

Línea de trabajo

Empieza por la serialización de CHAR y la lógica de remodelado en src/datajoint/blob.py, especialmente las líneas enlazadas en el issue. Reproduce el viaje de ida y vuelta con el array de NumPy de dos filas proporcionado y comprueba después si la escritura por columnas conserva los blobs almacenados por Python y genera la matriz esperada para MATLAB. Se considerará terminado cuando la matriz de caracteres complete el viaje de ida y vuelta sin cambios y MATLAB la lea sin cambios.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

bug

A character array (S1) with two or more rows comes back transposed from a <blob> attribute.

import numpy as np
from datajoint import blob

x = np.array([[b"a", b"b", b"c"], [b"d", b"e", b"f"]])
blob.unpack(blob.pack(x))
# array([['a', 'c', 'e'],
#        ['b', 'd', 'f']], dtype='<U1')

The same happens through a table (insert1 and fetch1 on a <blob> attribute), on MySQL and PostgreSQL, with master at eefe74b4.

The writer stores CHAR data in row-major order: array.view(np.uint8).astype(np.uint16).tobytes() (blob.py#L345). The reader reshapes it in column-major order (blob.py#L309), which is how MATLAB writes it and how every other array type is written. Bytes laid out the MATLAB way read back correctly. Commit 8f868518 (2019) changed the writer from array.tobytes(order='F') to the current form.

One-row and one-dimensional character arrays are not affected, because they are read back as a single string.

Expected

A character matrix round-trips unchanged, and MATLAB reads it unchanged.

Suggested fix

Write the CHAR data in column-major order: array.view(np.uint8).astype(np.uint16).tobytes(order="F"). Values already stored by Python keep their row-major bytes, so they read back as they do today.

Lenguaje dominante
Python
Estrellas
198
Forks
103
Merge medio
6 d 1 h
PR fusionados (30 d)
10

Preparar el entorno

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de datajoint/datajoint-python

Todos los issues de datajoint/datajoint-python

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.