Fast upsert mode
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 22/100
Línea de trabajo
The payload names no source files or tests, so locate the current drop-and-replace load path in the DataPusher+ Python code first. Trace how a resource's datastore table is created and replaced, then find where a per-resource metadata flag could switch that path. Done means an upsert-flagged resource with a matching schema is merged via a temporary table and INSERT ... ON CONFLICT, and a mismatched schema aborts with a clear message. The design is still open, so agree the approach with maintainers first.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Currently, DP+ like Datapusher and xloader, only does drop & replace and doesn't do upserts.
It'd be great if DP+ can support upserts in a performant way.
This can be done by:
- adding a resource-level metadata field that the Data Publisher can set to enable upsert mode.
- when a resource has upsert mode enabled, instead of drop & replace, DP+ will:
- compare the schemas of the existing resource and the new CSV to see if they are identical (qsv can do this very quickly)
- if they're not, DP+ will abort stating that the resource is in upsert mode and the schemas do not match
- if the schemas are identical, do a PostgreSQL copy to a temporary table of the file to be pushed
- then do a INSERT INTO ON CONFLICT DO UPDATE to upsert the temporary table into the existing resource
- the temporary table is then deleted
- Lenguaje dominante
- Python
- Estrellas
- 47
- Forks
- 33
- Merge medio
- 2 h 28 min
- PR fusionados (30 d)
- 10
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de dathere/datapusher-plus
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
dathere/datapusher-plus#359 ·
Los mantenedores suelen responder en 1 día
-
"Total elapsed time" in the JOB DONE line is ~1.79 billion seconds (perf_counter overwrites the time.time() start)Posiblemente ocupada @tino097 la tomó hace 14 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 35/100
dathere/datapusher-plus#355 ·
Los mantenedores suelen responder en 1 día
-
FormulaProcessing stage always skipped on CKAN 2.10+: ckan.plugins is a list, stage calls .split() on itPosiblemente ocupada @tino097 la tomó hace 14 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 25/100
dathere/datapusher-plus#354 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 4/5 3-5 días Aptitud para principiantes 48/100
dathere/datapusher-plus#340 ·
Los mantenedores suelen responder en 1 día
-
Prefect requires Sqlalchemy2Abierto
Dificultad 3/5 1-2 días Aptitud para principiantes 53/100
dathere/datapusher-plus#338 ·
Los mantenedores suelen responder en 1 día
Todos los issues de dathere/datapusher-plus
Issues similares
-
needs-triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
gke-labs/kube-agents#5671 ·
Los mantenedores suelen responder en 1 día
-
docs(auth): Method B step 4 should tell users to tick "Use this client for an AI-powered agent"Abiertodocumentation next-release v0.9.6
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
khuisman/mcp-gee-sweet#1446 ·
Los mantenedores suelen responder en 1 día
-
In-box secret files written before their chmod: lc-creds, stacks tee, and the workspace tokenAbiertomodel:sonnet runtime:claude security size:S
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
FootprintAI/Containarium#3671 ·
Los mantenedores suelen responder en 1 día
-
HolidayBase: reassigning `language` does not re-initialize translations or re-populate holidaysPosiblemente ocupada @shikhabhadoria la tomó hoy. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
vacanza/holidays#4116 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
bug CLI exec
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
Los mantenedores suelen responder en 1 día