[Bug] Flink Dedicated Streaming Compact Job Is Stuck When Its Checkpointed Snapshot Has Expired

Aperta
#9,533 2 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
55/100
Tipo di issue
Bug
Chiarezza
Abbastanza chiara
Stato di attività
Attiva
Stack tecnologico
java
Ambito
data-engineering, stream-processing

Direzione di ricerca

Inizia tracciando il percorso di ripristino del checkpoint del Flink Dedicated Streaming Compact job, concentrandoti su come gestisce uno snapshot scaduto e la OutOfRangeException segnalata. Riproduci il failover dopo la scadenza dello snapshot, quindi verifica che il ripristino non tenti più lo stesso snapshot non valido e possa passare a uno snapshot valido.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

bug
Search before asking
  • I searched in the issues and found nothing similar.
Paimon version

paimon 1.3.1

Compute Engine

Flink 1.16

Minimal reproduce step
  1. Start a checkpoint-enabled Flink Dedicated Streaming Compact job.
  2. Wait until a checkpoint records snapshot N as the next source cursor.
  3. Commit newer snapshots.
  4. Explicitly trigger snapshot expiration, or use a non-write-only table whose commit path performs expiration, so that snapshot N is removed.
  5. Trigger Flink failover and restore from the checkpoint.
  6. Observe repeated OutOfRangeException for snapshot N.
What doesn't meet your expectations?

A Flink Dedicated Streaming Compact job can become permanently stuck after recovering from a checkpoint whose next snapshot has already been removed by
Paimon snapshot retention.

After recovery, the job continues reading the expired snapshot ID and fails with OutOfRangeException. Flink retries the job from the same checkpoint, so
every restart uses the same invalid snapshot ID. The job never advances to a valid snapshot and cannot self-recover.

Typical error:

OutOfRangeException: Snapshot does not exist or has expired

Image
Anything else?

No

Are you willing to submit a PR?
  • I'm willing to submit a PR!
Lingua principale
Java
Stelle
3.4k
Fork
1.4k
Merge medio
1g 14h
PR unite (30g)
468

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di apache/paimon

Tutte le issue di apache/paimon

Issue simili

Altre issue su Java

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.