Character matrices with more than one row come back transposed from <blob>

Aberta Para iniciantes
#1,702 0 comentários 0 reações 0 responsáveis Ver no GitHub

Mantenedores costumam responder em até 6 dias

Ninguém assumiu esta issue ainda.

Avaliação

Dificuldade
2/5
Tempo estimado
1-3 horas
Facilidade para iniciantes
78/100
Tipo de issue
Bug
Clareza
Claramente especificada
Status de atividade
Ativa
Stack de tecnologia
mysql, numpy, postgresql, python
Domínio
databases

Direção de pesquisa

Comece pela serialização CHAR e pela lógica de remodelagem em src/datajoint/blob.py, especialmente pelas linhas vinculadas na issue. Reproduza a ida e volta com o array NumPy de duas linhas fornecido e, em seguida, verifique se a escrita por colunas preserva os blobs armazenados pelo Python e produz a matriz esperada para o MATLAB. O trabalho estará concluído quando a matriz de caracteres fizer a ida e volta sem alterações e o MATLAB a ler sem alterações.

Escrita pelo modelo de indexação a partir do texto da issue.

Descrição

bug

A character array (S1) with two or more rows comes back transposed from a <blob> attribute.

import numpy as np
from datajoint import blob

x = np.array([[b"a", b"b", b"c"], [b"d", b"e", b"f"]])
blob.unpack(blob.pack(x))
# array([['a', 'c', 'e'],
#        ['b', 'd', 'f']], dtype='<U1')

The same happens through a table (insert1 and fetch1 on a <blob> attribute), on MySQL and PostgreSQL, with master at eefe74b4.

The writer stores CHAR data in row-major order: array.view(np.uint8).astype(np.uint16).tobytes() (blob.py#L345). The reader reshapes it in column-major order (blob.py#L309), which is how MATLAB writes it and how every other array type is written. Bytes laid out the MATLAB way read back correctly. Commit 8f868518 (2019) changed the writer from array.tobytes(order='F') to the current form.

One-row and one-dimensional character arrays are not affected, because they are read back as a single string.

Expected

A character matrix round-trips unchanged, and MATLAB reads it unchanged.

Suggested fix

Write the CHAR data in column-major order: array.view(np.uint8).astype(np.uint16).tobytes(order="F"). Values already stored by Python keep their row-major bytes, so they read back as they do today.

Linguagem predominante
Python
Estrelas
198
Forks
103
Merge médio
6d 1h
PRs com merge (30d)
10

Preparar o ambiente

Primeiros passos

  1. Leia a issue inteira e depois o guia de contribuição do projeto.
  2. Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
  3. Faça um fork do repositório e trabalhe em uma branch.
  4. Abra um pull request que referencie o número da issue.

Mais de datajoint/datajoint-python

Todas as issues de datajoint/datajoint-python

Issues semelhantes

Mais issues de Python

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.