staged_insert1 stores object paths with the class name and an empty store name, so garbage collection can delete its objects

Aberta Para iniciantes
#1,701 0 comentários 0 reações 0 responsáveis Ver no GitHub

Mantenedores costumam responder em até 6 dias

Ninguém assumiu esta issue ainda.

Avaliação

Dificuldade
2/5
Tempo estimado
1-3 horas
Facilidade para iniciantes
78/100
Tipo de issue
Bug
Clareza
Claramente especificada
Status de atividade
Ativa
Stack de tecnologia
mysql, postgresql, python

Direção de pesquisa

Leia src/datajoint/staged_insert.py, especialmente a construção do caminho nas linhas 103–124 e os metadados do store nas linhas 214–222; compare-os com o caminho normal de insert1. A issue sugere usar self._table.table_name e config.resolve_store_name(store_name). Adicione ou execute testes para atributos de objeto em tabelas normais e tabelas part, incluindo o store padrão; o trabalho estará concluído quando as linhas inseridas em lote usarem a mesma estrutura de caminho e o mesmo nome de store resolvido que insert1.

Escrita pelo modelo de indexação a partir do texto da issue.

Descrição

bug

For an <object@> attribute, insert1 builds the object's path from the table name and records the resolved store name. staged_insert1 does neither (staged_insert.py#L103-L124, #L214-L222):

  • it builds the path from the class name;
  • it records the store as declared, which is "" for the default store (<object@>).

Garbage collection can then delete objects that rows still refer to.

Repro (master, eefe74b4; MySQL and PostgreSQL; stores local, the default, and other)

A Manual table Recording with data : <object@>, and a part table Session.Item with the same attribute. One row in each is inserted with insert1, and one with staged_insert1:

Row Inserted with Stored path Stored store
rec_id=1 insert1 _schema/<db>/recording/rec_id=1/data_… local
rec_id=2 staged_insert1 _schema/<db>/Recording/rec_id=2/data_….dat ""
item_id=1 insert1 _schema/<db>/session__item/sess_id=1/item_id=1/… local
item_id=2 staged_insert1 _schema/<db>/Item/sess_id=1/item_id=2/… ""

Consequences

  • Case-insensitive file stores (macOS, Windows). Recording/ and recording/ are the same folder there. The store listing reports it as recording/, so the collector does not match the staged row's path and reports its object as orphaned. collect(dry_run=False) deleted it, and fetch1 for rec_id=2 then raised MissingExternalFile.
  • Any store, after stores.default changes.
    • The empty store name of the staged rows resolves to the new default, so their objects can no longer be read. Rows inserted with insert1 name local and still read.
    • The collector for local also treats the staged objects as belonging to another store (gc.py#L183), and reports them as orphaned.
  • Part tables. The path gets the part's class name alone (Item), not the table name session__item.

These are gaps left by #1465 and #1575, which aligned the metadata of the regular insert path.

Expected

staged_insert1 stores the same path layout and the same resolved store name as insert1.

Suggested fix

Build the path with self._table.table_name, and record config.resolve_store_name(store_name).

Linguagem predominante
Python
Estrelas
198
Forks
103
Merge médio
6d 1h
PRs com merge (30d)
10

Preparar o ambiente

Primeiros passos

  1. Leia a issue inteira e depois o guia de contribuição do projeto.
  2. Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
  3. Faça um fork do repositório e trabalhe em uma branch.
  4. Abra um pull request que referencie o número da issue.

Mais de datajoint/datajoint-python

Todas as issues de datajoint/datajoint-python

Issues semelhantes

Mais issues de Python

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.