Add one more field into the job runs schema, for Atum measurements

Abierto
  • ¿Algo no está bien?
#169 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Los mantenedores suelen responder en 1 día

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
3/5
Tiempo estimado
1-2 días
Aptitud para principiantes
67/100
Tipo de issue
Nueva funcionalidad
Claridad
Bastante claro
Estado de actividad
Tranquilo
Stack tecnológico
postgresql, python
Área
backend, databases

Línea de trabajo

Localiza dónde se define additional_info para las ejecuciones de trabajos en el esquema/modelo actual y en los archivos de migración de la base de datos, ya que el nuevo atributo debe seguir el mismo patrón opcional. Sigue la ruta de serialización del mensaje de ejecución de trabajo para asegurarte de que se pueda añadir un campo atum_measurements sin romper los payloads existentes. Empieza leyendo el modelo/esquema de la ejecución de trabajo y el punto de entrada de construcción de la API/mensaje; después, actualiza la migración para que Postgres pueda almacenar este campo JSON opcional. El issue estará terminado cuando los registros de ejecuciones de trabajos puedan contener y emitir atum_measurements, y las pruebas correspondientes se hayan actualizado o añadido y pasen correctamente.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

enhancement
Feature Description

There is Atum Service: https://github.com/AbsaOSS/atum-service we use within our ecosystem to perform various metrics calculations against the processed data, such as record counts.

The EventGate is common integration point between our applications and can hold references to Atum measurements in the message; for this, we talked that the schema can be adjusted by creating a new field under the jobs, maybe atum_measurements or something like that.

This should be an optional field, basically a JSON, similar to additional_info which we did not selected for this because it can contain much more, and application-specific info. But the atum_measurements is relatively directed and well-formatted (the format is outside of the scope of this ticket and even EventGate).

Problem / Opportunity

Being informed about the record counts / measurements on the jobs' messages side can provide insight for our customers and convenient, consistent usage.

Acceptance Criteria

The job runs schema contains one more optional attribute for capturing atum measurements in some format.
Consider adding this into the PG DB for reference, same as additional_info attribute.

Lenguaje dominante
Python
Estrellas
4
Forks
0
Merge medio
3 d 12 h
PR fusionados (30 d)
10

Preparar el entorno

  • Incluye un Dockerfile o un archivo de Docker Compose
  • Tiene una plantilla de pull request
  • Sin guía de contribución

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de AbsaOSS/EventGate

Todos los issues de AbsaOSS/EventGate

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.