apache/seatunnel

[Bug] [imap] engine_runningJobMetrics size too long, imap monitoring data is too large

Open

#8.558 aberto em 20 de jan. de 2025

Ver no GitHub
 (7 comments) (0 reactions) (0 assignees)Java (1.432 forks)batch import
bughelp wanted

Métricas do repositório

Stars
 (6.897 stars)
Métricas de merge de PR
 (Mesclagem média 13d 21h) (143 fundiu PRs em 30d)

Description

Search before asking

  • I had searched in the issues and found no similar issues.

What happened

In split mode, after MySQL CDC runs for a period of time, the imap is stored on the local disk and takes up too much space, a full 200GB. The parameters configured as follows do not clear the data. If this continues, the task will definitely not be able to run.

seatunnel: engine: history-job-expire-minutes: 1440 telemetry: logs: scheduled-deletion-enable: true

SeaTunnel Version

2.3.9

SeaTunnel Config

MySQL的cdc

Running Command

MySQL的cdc

Error Exception

MySQL的cdc

Zeta or Flink or Spark Version

No response

Java or Scala Version

No response

Screenshots

Image

Are you willing to submit PR?

  • Yes I am willing to submit a PR!

Code of Conduct

Guia do colaborador

Direção de pesquisa
Examine o armazenamento do engine runningJobMetrics no SeaTunnel, entenda por que as configurações de limpeza definidas (history job expire minutes e telemetry logs scheduled deletion enable) não estão funcionando para dados IMAP e proponha uma correção para limpar adequadamente os dados IMAP antigos.
Pilha de tecnologia
java
Domain
backenddata
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
JavaSeaTunnel architecture
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
30