Postponed execution events linking
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 18/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- scala, spark
- Área
- data-engineering, performance
Línea de trabajo
El issue no menciona archivos ni tests. Empieza localizando las partes de Spline que procesan los eventos de ejecución y construyen el grafo global de lineage; después, sigue cómo se encuentran las ejecuciones afectadas a través de los límites entre planes de ejecución. El trabajo estará terminado cuando exista un diseño y una implementación para vincular de forma diferida o basada en ventanas temporales las ejecuciones predecesoras, evitando ordenar y agrupar repetidamente en cada límite.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
When building a global lineage we need to traverse the graph through the boundary of many execution plans, from the affected executions to their predecessors and so forth. For the performance reasons (since an execution plan can be a super node), it's good to avoid looking up the affected executions by sorting and grouping at the boundary of every execution plan, but instead to have them linked directly.
Since the graph is built continuously and asynchronously, at the time of processing a new execution event we don't know if all its predecessors have arrived and processed already. So we cannot build the static links between them immediately. Instead we could do it in time windows, long enough to accommodate any reasonable time delays in the events arrival (once an hour / a day).
- Lenguaje dominante
- Scala
- Estrellas
- 668
- Forks
- 154
- Merge medio
- 4 d 20 h
- PR fusionados (30 d)
- 1
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de AbsaOSS/spline
-
Dificultad 4/5 3-5 días Aptitud para principiantes 28/100
-
feature
Dificultad 4/5 3-5 días Aptitud para principiantes 25/100
-
More integration tests for Import/Export featureQuizá libre de nuevo @wajda la tomó hace 464 días y no hay ningún pull request abierto. AbiertoTech debt
Dificultad 3/5 1-2 días Aptitud para principiantes 20/100
-
feature
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
-
DB :: optimize indicesAbiertoscaling / performance
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
Todos los issues de AbsaOSS/spline
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 84/100
containerbase/base#7891 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 1/5 1-3 horas Aptitud para principiantes 91/100
com-vitthalmirji/toon4s#117 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
zio/zio-blocks#1780 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
digital-asset/participant-query-store#168 ·
Los mantenedores suelen responder en 1 día