staged_insert1 stores object paths with the class name and an empty store name, so garbage collection can delete its objects

Ouverte Adaptée aux débutants
#1,701 0 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Les mainteneurs répondent en général sous 6 jours

Personne n'a encore pris cette issue.

Évaluation

Difficulté
2/5
Temps estimé
1-3 heures
Accessibilité débutants
78/100
Type d'issue
Bug
Clarté
Clairement spécifiée
Activité
Active
Stack technique
mysql, postgresql, python

Piste de recherche

Lisez src/datajoint/staged_insert.py, en particulier la construction du chemin aux lignes 103–124 et les métadonnées du store aux lignes 214–222 ; comparez-les au chemin normal de insert1. L’issue suggère d’utiliser self._table.table_name et config.resolve_store_name(store_name). Ajoutez ou exécutez des tests pour les attributs d’objet sur les tables normales et les tables part, y compris le store par défaut ; le travail est terminé lorsque les lignes insérées par lots utilisent la même structure de chemin et le même nom de store résolu que insert1.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

bug

For an <object@> attribute, insert1 builds the object's path from the table name and records the resolved store name. staged_insert1 does neither (staged_insert.py#L103-L124, #L214-L222):

  • it builds the path from the class name;
  • it records the store as declared, which is "" for the default store (<object@>).

Garbage collection can then delete objects that rows still refer to.

Repro (master, eefe74b4; MySQL and PostgreSQL; stores local, the default, and other)

A Manual table Recording with data : <object@>, and a part table Session.Item with the same attribute. One row in each is inserted with insert1, and one with staged_insert1:

Row Inserted with Stored path Stored store
rec_id=1 insert1 _schema/<db>/recording/rec_id=1/data_… local
rec_id=2 staged_insert1 _schema/<db>/Recording/rec_id=2/data_….dat ""
item_id=1 insert1 _schema/<db>/session__item/sess_id=1/item_id=1/… local
item_id=2 staged_insert1 _schema/<db>/Item/sess_id=1/item_id=2/… ""

Consequences

  • Case-insensitive file stores (macOS, Windows). Recording/ and recording/ are the same folder there. The store listing reports it as recording/, so the collector does not match the staged row's path and reports its object as orphaned. collect(dry_run=False) deleted it, and fetch1 for rec_id=2 then raised MissingExternalFile.
  • Any store, after stores.default changes.
    • The empty store name of the staged rows resolves to the new default, so their objects can no longer be read. Rows inserted with insert1 name local and still read.
    • The collector for local also treats the staged objects as belonging to another store (gc.py#L183), and reports them as orphaned.
  • Part tables. The path gets the part's class name alone (Item), not the table name session__item.

These are gaps left by #1465 and #1575, which aligned the metadata of the regular insert path.

Expected

staged_insert1 stores the same path layout and the same resolved store name as insert1.

Suggested fix

Build the path with self._table.table_name, and record config.resolve_store_name(store_name).

Langage dominant
Python
Étoiles
198
Forks
103
Merge moyen
6 j 1 h
PR mergées (30 j)
10

Préparer son environnement

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de datajoint/datajoint-python

Toutes les issues de datajoint/datajoint-python

Issues similaires

Plus d'issues Python

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.