Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Check stored dataset metadata when ingesting with --skip-existing

Đang mở
  • Có gì không ổn?
#970 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
58/100
Loại issue
Lỗi
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
python, sql
Lĩnh vực
cli, data, databases

Hướng nghiên cứu

Start with the ref datasets ingest --skip-existing path and the calls to validate_data_catalog and register_dataset. Trace how incoming dataset-specific metadata is compared with the stored, database-coerced values, including streaming chunks. Done means mismatches follow the requested --skip-invalid or error behavior without overwriting stored metadata or retaining old file rows incorrectly.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

With ref datasets ingest --skip-existing, files already in the database are left out of the catalog before validate_data_catalog runs. A new file joining an existing dataset is then validated on its own, so if its dataset-specific metadata (eg. units) disagrees with the stored dataset, register_dataset overwrites the stored metadata and keeps the old file rows. A full ingest would flag the disagreement. Streaming ingest has the same gap when a dataset is split across chunks. One option is to compare incoming dataset-specific metadata with the stored row before registering, and treat a mismatch like a validation failure (dropped with --skip-invalid, otherwise an error). The comparison needs care because stored values are DB-coerced. Raised in https://github.com/Climate-REF/climate-ref/pull/968#discussion_r4319735983

Ngôn ngữ chính
Python
Star
27
Fork
14
Merge trung bình
1 ngày 4 giờ
Pull request đã merge (30 ngày)
68

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của Climate-REF/climate-ref

Tất cả issue của Climate-REF/climate-ref

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.