staged_insert1 stores object paths with the class name and an empty store name, so garbage collection can delete its objects

Đang mở Phù hợp với người mới
#1,701 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 6 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
2/5
Thời gian dự kiến
1-3 giờ
Mức phù hợp với người mới
78/100
Loại issue
Lỗi
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
mysql, postgresql, python

Hướng nghiên cứu

Đọc src/datajoint/staged_insert.py, đặc biệt là phần tạo đường dẫn ở dòng 103–124 và metadata của store ở dòng 214–222; so sánh chúng với đường xử lý insert1 thông thường. Issue đề xuất dùng self._table.table_name và config.resolve_store_name(store_name). Thêm hoặc chạy kiểm thử cho các thuộc tính đối tượng trên bảng thường và bảng part, bao gồm store mặc định; hoàn tất khi các hàng được chèn theo lô dùng cùng bố cục đường dẫn và tên store đã phân giải như insert1.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

bug

For an <object@> attribute, insert1 builds the object's path from the table name and records the resolved store name. staged_insert1 does neither (staged_insert.py#L103-L124, #L214-L222):

  • it builds the path from the class name;
  • it records the store as declared, which is "" for the default store (<object@>).

Garbage collection can then delete objects that rows still refer to.

Repro (master, eefe74b4; MySQL and PostgreSQL; stores local, the default, and other)

A Manual table Recording with data : <object@>, and a part table Session.Item with the same attribute. One row in each is inserted with insert1, and one with staged_insert1:

Row Inserted with Stored path Stored store
rec_id=1 insert1 _schema/<db>/recording/rec_id=1/data_… local
rec_id=2 staged_insert1 _schema/<db>/Recording/rec_id=2/data_….dat ""
item_id=1 insert1 _schema/<db>/session__item/sess_id=1/item_id=1/… local
item_id=2 staged_insert1 _schema/<db>/Item/sess_id=1/item_id=2/… ""

Consequences

  • Case-insensitive file stores (macOS, Windows). Recording/ and recording/ are the same folder there. The store listing reports it as recording/, so the collector does not match the staged row's path and reports its object as orphaned. collect(dry_run=False) deleted it, and fetch1 for rec_id=2 then raised MissingExternalFile.
  • Any store, after stores.default changes.
    • The empty store name of the staged rows resolves to the new default, so their objects can no longer be read. Rows inserted with insert1 name local and still read.
    • The collector for local also treats the staged objects as belonging to another store (gc.py#L183), and reports them as orphaned.
  • Part tables. The path gets the part's class name alone (Item), not the table name session__item.

These are gaps left by #1465 and #1575, which aligned the metadata of the regular insert path.

Expected

staged_insert1 stores the same path layout and the same resolved store name as insert1.

Suggested fix

Build the path with self._table.table_name, and record config.resolve_store_name(store_name).

Ngôn ngữ chính
Python
Star
198
Fork
103
Merge trung bình
6 ngày 1 giờ
Pull request đã merge (30 ngày)
10

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của datajoint/datajoint-python

Tất cả issue của datajoint/datajoint-python

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.