Roadmap Tracking Issue - EPIC

Abierto
  • ¿Algo no está bien?
#5 1 comentario 0 reacciones 0 asignados Ver en GitHub

Los mantenedores suelen responder en 1 día

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
5/5
Tiempo estimado
Más de una semana
Aptitud para principiantes
5/100
Tipo de issue
Nueva funcionalidad
Claridad
Necesita aclaración
Estado de actividad
Estancado
Stack tecnológico
postgresql, python
Área
data, databases

Línea de trabajo

This is a roadmap epic with no single change to make. It links to child issues (#18, #13, #54, #34, #35, and others) and lists unchecked items such as auto-tagging, auto partitioning, record-level search, and native PostGIS and Timescale support. A newcomer should start by reading the linked child issues and the repository's README to see which items are still open. Done means one child item is delivered with its own tests, not the whole epic.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

roadmap

OVERALL VISION: To increase the utility and performance of the CKAN Datastore:

  • by enriching resources, so that right after a file is pushed by DP+, it does a lot of data-wrangling tasks that are typically done manually:
    • a lot of metadata is inferred, so the Data Publisher does not have to laboriously enter it in
    • descriptive statistics are computed, allowing the Data Publisher and the end-user to better understand the resource
    • location information is automatically normalized and geocoded
    • related datasets/resources are automatically inferred
    • auto-tagging
  • by taking advantage of PostgreSQL native features
    • also use it as a Document Database leveraging JSONB?
    • partitioning/sharding?
  • by tapping into the rich PostgreSQL extensions ecosystem (in particular - PostGIS, Timescale, Citus, CartoDB, Apache Age and ZomboDB)
  • give it "Data Lake"-like capabilities
  • enable Datastore API users to issue performant, reliable SQL queries
  • #98
  • #18
  • #11
  • Auto-tagging
  • Automatic spatial extent calculation
  • Automatic processing/recognition of whitelisted common column names (e.g. latitude, longitude, status, open date, closed date, etc.)
  • #53
  • #47
  • #27
  • #9
  • Auto partitioning
  • #60
  • Deferred datapush on initial package creation to allow per package Datapusher+ Configuration
  • #87
  • #17
  • Enabling record-level search
  • #8
  • #13
  • #54
  • #10
  • #19
  • #30
  • Native PostGIS support
  • Native time-series support with Timescale
  • #34
  • #35
  • #46
Lenguaje dominante
Python
Estrellas
47
Forks
33
Merge medio
2 h 28 min
PR fusionados (30 d)
10

Preparar el entorno

Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de dathere/datapusher-plus

Todos los issues de dathere/datapusher-plus

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.