apache/fluss

[Feature] Flink Connector support pendingRecords metric

Open

#138 geöffnet am 6. Dez. 2024

Auf GitHub ansehen
 (2 Kommentare) (0 Reaktionen) (1 zugewiesene Person)Java (570 Forks)auto 404
component=connector/flinkgood first issue

Repository-Metriken

Stars
 (1.979 Stars)
PR-Merge-Metriken
 (PR-Metriken ausstehend)

Beschreibung

Originally posted by luoyuxia November 28, 2024

Search before asking

  • I searched in the issues and found nothing similar.

Motivation

Although we has coverd most of standard metrics defined in FLIP-33: Standardize Connector Metrics, we still miss the metrics of pendingRecords which help us to trace data backlog.

Solution

pending records = latest log offset - fetched log offset.

For snapshot read phase of primary key table, it should be total records in kv snapshot - records emited, but to simplify, we can just trace the phase of incremental reading which read from change log.

Anything else?

No response

Willingness to contribute

  • I'm willing to submit a PR!

Contributor Guide

Research-Richtung
Verstehen Sie die aktuelle Metrikimplementierung in den Flink Connectors für Fluss. Studieren Sie, wie pendingRecords als aktuellster Log Offset minus abgerufener Log Offset berechnet wird. Für die Snapshot Lesephase einer Primärschlüsseltabelle sollten Sie eine Vereinfachung in Betracht ziehen, indem Sie nur das inkrementelle Lesen aus dem Changelog verfolgen. Überprüfen Sie den vorhandenen Flink Connector Code, um zu sehen, wo die Metrik hinzugefügt werden kann.
Tech Stack
java
Domain
backendstream processing
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
JavaFlink connector development
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
50