Smarter automatic deduplication
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 12/100
Línea de trabajo
This is a design decision, not a ready edit. Start by reading the automatic deduplication work referenced in #25 and how DP+ handles duplicates before the resource is pushed to the Datastore. The issue offers three options (stop the job with an error, replace the resource file with the deduplicated CSV, or use qsv dedup --dupes-output to push _dupes and _dedupped resources), and no option is chosen. Done means a maintainer agrees on one approach first, then it is implemented.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Automatic deduplication works well (#25), however, when duplicates are found and removed, the datastore table and the resource file are no longer in sync.
Smarter dedup can be handled three ways. When dupes are found:
- Stop the DP+ job and show the dupe error in the Datastore tab.
- Replace the resource file with the dedupped CSV.
- Take advantage of
qsv dedup's--dupes-outputoption and create two new resources - RESOURCENAME_dupes.csv and RESOURCENAME_dedupped.csv which are pushed to the Datastore. The original resource with dupes is NOT pushed. The Data Publisher can then just use the CKAN interface to manage which resource to keep (e.g. delete the original and the _dupes resources; rename the _dedupped resource, removing the _dedupped suffix.)
- Lenguaje dominante
- Python
- Estrellas
- 47
- Forks
- 33
- Merge medio
- 2 h 28 min
- PR fusionados (30 d)
- 10
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de dathere/datapusher-plus
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
dathere/datapusher-plus#359 ·
Los mantenedores suelen responder en 1 día
-
"Total elapsed time" in the JOB DONE line is ~1.79 billion seconds (perf_counter overwrites the time.time() start)Posiblemente ocupada @tino097 la tomó hace 14 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 35/100
dathere/datapusher-plus#355 ·
Los mantenedores suelen responder en 1 día
-
FormulaProcessing stage always skipped on CKAN 2.10+: ckan.plugins is a list, stage calls .split() on itPosiblemente ocupada @tino097 la tomó hace 14 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 25/100
dathere/datapusher-plus#354 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 4/5 3-5 días Aptitud para principiantes 48/100
dathere/datapusher-plus#340 ·
Los mantenedores suelen responder en 1 día
-
Prefect requires Sqlalchemy2Abierto
Dificultad 3/5 1-2 días Aptitud para principiantes 53/100
dathere/datapusher-plus#338 ·
Los mantenedores suelen responder en 1 día
Todos los issues de dathere/datapusher-plus
Issues similares
-
needs-triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
gke-labs/kube-agents#5671 ·
Los mantenedores suelen responder en 1 día
-
docs(auth): Method B step 4 should tell users to tick "Use this client for an AI-powered agent"Abiertodocumentation next-release v0.9.6
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
khuisman/mcp-gee-sweet#1446 ·
Los mantenedores suelen responder en 1 día
-
In-box secret files written before their chmod: lc-creds, stacks tee, and the workspace tokenAbiertomodel:sonnet runtime:claude security size:S
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
FootprintAI/Containarium#3671 ·
Los mantenedores suelen responder en 1 día
-
HolidayBase: reassigning `language` does not re-initialize translations or re-populate holidaysPosiblemente ocupada @shikhabhadoria la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
vacanza/holidays#4116 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
bug CLI exec
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
Los mantenedores suelen responder en 1 día