apache/dolphinscheduler

[DSIP-79][Task] Add Datavines task to better support data quality

Open

#16.113 aberto em 3 de jun. de 2024

Ver no GitHub
 (10 comments) (2 reactions) (1 assignee)Java (4.324 forks)batch import
DSIPhelp wanted

Métricas do repositório

Stars
 (11.659 stars)
Métricas de merge de PR
 (Mesclagem média 2d 21h) (22 fundiu PRs em 30d)

Description

Search before asking

  • I had searched in the DSIP and found no similar DSIP.

Motivation

DataVines is an easy-to-use data quality service platform that supports multiple metric. https://github.com/datavane/datavines

  • Datavines supports executing multiple metrics in one job.
  • Datavines supports execution status dashboard and data quality report.
  • Datavines supports plug-in extensions for components such as metric, data sources, error data storage, and execution engines.
  • Jdbc engines can be used to execute data quality tasks instead of solely relying on Spark engines.

Design Detail

Sript mode

  1. config data quality job in datavines image

  2. get the job config scipt file

  3. Add datavines job node in workflow, and configure the script image

API Mode

  1. config data quality job in datavines image

  2. get the jobId

  3. Add datavines job node in workflow, and configure the datavines api address and jobId

Compatibility, Deprecation, and Migration Plan

No response

Test Plan

No response

Code of Conduct

Guia do colaborador

Direção de pesquisa
Reveja o documento de design DSIP 79 para obter detalhes de integração. Examine os plugins de tarefa existentes no DolphinScheduler, como a tarefa Spark ou Shell, para padrões de referência. A questão descreve dois modos: modo de script (usando um arquivo de script) e modo de API (usando a API Datavines). Verifique os comentários do responsável para verificar qualquer progresso ou requisitos adicionais. Abordagem: primeiro entender a configuração do job Datavines, depois implementar uma nova classe de plugin de tarefa no repositório DolphinScheduler, provavelmente no módulo `dolphinscheduler task plugin`.
Pilha de tecnologia
java
Domain
backenddata
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
3-5 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
JavaGitFamiliarity with DolphinScheduler task plugin architecture
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
35