Smarter automatic deduplication
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 12/100
Direzione di ricerca
This is a design decision, not a ready edit. Start by reading the automatic deduplication work referenced in #25 and how DP+ handles duplicates before the resource is pushed to the Datastore. The issue offers three options (stop the job with an error, replace the resource file with the deduplicated CSV, or use qsv dedup --dupes-output to push _dupes and _dedupped resources), and no option is chosen. Done means a maintainer agrees on one approach first, then it is implemented.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Automatic deduplication works well (#25), however, when duplicates are found and removed, the datastore table and the resource file are no longer in sync.
Smarter dedup can be handled three ways. When dupes are found:
- Stop the DP+ job and show the dupe error in the Datastore tab.
- Replace the resource file with the dedupped CSV.
- Take advantage of
qsv dedup's--dupes-outputoption and create two new resources - RESOURCENAME_dupes.csv and RESOURCENAME_dedupped.csv which are pushed to the Datastore. The original resource with dupes is NOT pushed. The Data Publisher can then just use the CKAN interface to manage which resource to keep (e.g. delete the original and the _dupes resources; rename the _dedupped resource, removing the _dedupped suffix.)
- Lingua principale
- Python
- Stelle
- 47
- Fork
- 33
- Merge medio
- 2h 28m
- PR unite (30g)
- 10
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di dathere/datapusher-plus
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
dathere/datapusher-plus#359 ·
I maintainer di solito rispondono entro 1 giorno
-
"Total elapsed time" in the JOB DONE line is ~1.79 billion seconds (perf_counter overwrites the time.time() start)Forse già presa @tino097 l’ha presa 14 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 35/100
dathere/datapusher-plus#355 ·
I maintainer di solito rispondono entro 1 giorno
-
FormulaProcessing stage always skipped on CKAN 2.10+: ckan.plugins is a list, stage calls .split() on itForse già presa @tino097 l’ha presa 14 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 25/100
dathere/datapusher-plus#354 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100
dathere/datapusher-plus#340 ·
I maintainer di solito rispondono entro 1 giorno
-
Prefect requires Sqlalchemy2Aperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 53/100
dathere/datapusher-plus#338 ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di dathere/datapusher-plus
Issue simili
-
documentation good first issue priority: P2 status: ready
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
RhinoLink-Tech/data-fabric#500 ·
I maintainer di solito rispondono entro 1 giorno
-
backlog
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
EchoTools/nevr-runtime#2384 ·
I maintainer di solito rispondono entro 1 giorno
-
[Bug]: The H2 series' and the H3C's fan 3 is labelled "Chamber Fan", Bambu calls it the exhaust fanApertaarea:ui
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
btclib-org/btclib#3062 ·
I maintainer di solito rispondono entro 1 giorno
-
area:evals area:infra enhancement
Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100
jse-avl/support-bot#4 · 1 commento ·