Check stored dataset metadata when ingesting with --skip-existing
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 58/100
調査の方向性
Start with the ref datasets ingest --skip-existing path and the calls to validate_data_catalog and register_dataset. Trace how incoming dataset-specific metadata is compared with the stored, database-coerced values, including streaming chunks. Done means mismatches follow the requested --skip-invalid or error behavior without overwriting stored metadata or retaining old file rows incorrectly.
索引モデルが issue の本文から書いたものです。
説明
With ref datasets ingest --skip-existing, files already in the database are left out of the catalog before validate_data_catalog runs. A new file joining an existing dataset is then validated on its own, so if its dataset-specific metadata (eg. units) disagrees with the stored dataset, register_dataset overwrites the stored metadata and keeps the old file rows. A full ingest would flag the disagreement. Streaming ingest has the same gap when a dataset is split across chunks. One option is to compare incoming dataset-specific metadata with the stored row before registering, and treat a mismatch like a validation failure (dropped with --skip-invalid, otherwise an error). The comparison needs care because stored values are DB-coerced. Raised in https://github.com/Climate-REF/climate-ref/pull/968#discussion_r4319735983
- 主要言語
- Python
- スター
- 27
- フォーク
- 14
- 平均マージ
- 1日 19時間
- マージ済み PR（30日）
- 39
環境構築
- Dockerfile または Docker Compose ファイルあり
- プルリクエストのテンプレートあり
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
Climate-REF/climate-ref のほかの issue
-
bug ESMValTool
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
Climate-REF/climate-ref#951 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
Climate-REF/climate-ref#701 · リアクション 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
Climate-REF/climate-ref#442 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
enhancement
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
Climate-REF/climate-ref#991 ·
メンテナーはふだん 1 日以内に返信
-
bug
難易度 4/5 3〜5日 初心者へのやさしさ 48/100
Climate-REF/climate-ref#967 · コメント 4 件 ·
メンテナーはふだん 1 日以内に返信
Climate-REF/climate-ref の issue をすべて見る
似ている issue
-
Validate non-divisible effective batch sizes in the Unsloth LoRA backend対応中かも @debesh-biswas が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
-
難易度 1/5 1時間未満 初心者へのやさしさ 88/100
reflex-dev/reflex#7634 · コメント 1 件 ·
メンテナーはふだん 2 日以内に返信
-
documentation
難易度 1/5 1〜3時間 初心者へのやさしさ 82/100
topoteretes/cognee#6239 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
ranaroussi/yfinance#3009 ·
メンテナーはふだん 1 日以内に返信
-
Test discovery aborts on GPU builds without cuStateVec: check_cuStateVec expects a failed result but set_config() now raises RuntimeError対応中かも @dmeliksetian が今日担当しました。 オープンbug
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
Qiskit/qiskit-aer#2495 ·
メンテナーはふだん 1 日以内に返信