apache/fluss

[Feature] Flink Connector support pendingRecords metric

Open

#138 aperta il 6 dic 2024

Vedi su GitHub
 (2 commenti) (0 reazioni) (1 assegnatario)Java (570 fork)auto 404
component=connector/flinkgood first issue

Metriche repository

Star
 (1979 star)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Originally posted by luoyuxia November 28, 2024

Search before asking

  • I searched in the issues and found nothing similar.

Motivation

Although we has coverd most of standard metrics defined in FLIP-33: Standardize Connector Metrics, we still miss the metrics of pendingRecords which help us to trace data backlog.

Solution

pending records = latest log offset - fetched log offset.

For snapshot read phase of primary key table, it should be total records in kv snapshot - records emited, but to simplify, we can just trace the phase of incremental reading which read from change log.

Anything else?

No response

Willingness to contribute

  • I'm willing to submit a PR!

Guida contributor

Direzione di ricerca
Comprendi l'implementazione attuale delle metriche nei connettori Flink per Fluss. Studia come calcolare pendingRecords come offset del log più recente meno offset del log recuperato. Per la fase di lettura snapshot di una tabella con chiave primaria, considera di semplificare tracciando solo la lettura incrementale dal changelog. Controlla il codice esistente del connettore Flink per vedere dove aggiungere la metrica.
Tech stack
java
Dominio
backendstream processing
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
JavaFlink connector development
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
50