Check stored dataset metadata when ingesting with --skip-existing
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 58/100
Direzione di ricerca
Start with the ref datasets ingest --skip-existing path and the calls to validate_data_catalog and register_dataset. Trace how incoming dataset-specific metadata is compared with the stored, database-coerced values, including streaming chunks. Done means mismatches follow the requested --skip-invalid or error behavior without overwriting stored metadata or retaining old file rows incorrectly.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
With ref datasets ingest --skip-existing, files already in the database are left out of the catalog before validate_data_catalog runs. A new file joining an existing dataset is then validated on its own, so if its dataset-specific metadata (eg. units) disagrees with the stored dataset, register_dataset overwrites the stored metadata and keeps the old file rows. A full ingest would flag the disagreement. Streaming ingest has the same gap when a dataset is split across chunks. One option is to compare incoming dataset-specific metadata with the stored row before registering, and treat a mismatch like a validation failure (dropped with --skip-invalid, otherwise an error). The comparison needs care because stored values are DB-coerced. Raised in https://github.com/Climate-REF/climate-ref/pull/968#discussion_r4319735983
- Lingua principale
- Python
- Stelle
- 27
- Fork
- 14
- Merge medio
- 1g 11h
- PR unite (30g)
- 49
Preparare l'ambiente
- Include un Dockerfile o un file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di Climate-REF/climate-ref
-
bug ESMValTool
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
Climate-REF/climate-ref#951 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
Climate-REF/climate-ref#701 · 1 reazione ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
Climate-REF/climate-ref#442 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
Climate-REF/climate-ref#996 ·
I maintainer di solito rispondono entro 1 giorno
-
enhancement
Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100
Climate-REF/climate-ref#991 ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di Climate-REF/climate-ref
Issue simili
-
style: article/section 📝 system: cloud.rc ☁️ system: security 🔐
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
uabrc/uabrc.github.io#1262 ·
-
documentation
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
NCAR/miles-credit#526 ·
-
documentation
Difficoltà 1/5 1-3 ore Idoneità per principianti 76/100
conda/conda-lock#957 ·
I maintainer di solito rispondono entro 1 giorno
-
Type: Bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
aws-samples/sample-per-model-bedrock#464 ·
I maintainer di solito rispondono entro 1 giorno