apache/seatunnel

[Bug] [imap] engine_runningJobMetrics size too long, imap monitoring data is too large

Ouverte

#8 558 ouverte le 20 janv. 2025

Voir sur GitHub
 (7 commentaires) (0 réaction) (0 personne assignée)Java (1 432 forks)batch import
bughelp wanted

Métriques du dépôt

Stars
 (6 897 étoiles)
Métriques de merge PR
 (Métriques PR en attente)

Description

Search before asking

  • I had searched in the issues and found no similar issues.

What happened

In split mode, after MySQL CDC runs for a period of time, the imap is stored on the local disk and takes up too much space, a full 200GB. The parameters configured as follows do not clear the data. If this continues, the task will definitely not be able to run.

seatunnel: engine: history-job-expire-minutes: 1440 telemetry: logs: scheduled-deletion-enable: true

SeaTunnel Version

2.3.9

SeaTunnel Config

MySQL的cdc

Running Command

MySQL的cdc

Error Exception

MySQL的cdc

Zeta or Flink or Spark Version

No response

Java or Scala Version

No response

Screenshots

Image

Are you willing to submit PR?

  • Yes I am willing to submit a PR!

Code of Conduct

Guide contributeur

Direction de recherche
Examiner le stockage de engine runningJobMetrics dans SeaTunnel, comprendre pourquoi les paramètres de nettoyage configurés (history job expire minutes et telemetry logs scheduled deletion enable) ne fonctionnent pas pour les données IMAP, et proposer un correctif pour nettoyer correctement les anciennes données IMAP.
Stack technique
java
Domaine
backenddata
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
JavaSeaTunnel architecture
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
30