apache/pulsar

Make the autoSkipNonRecoverableData can work for compacted topic

Open

#17.222 aperta il 23 ago 2022

Vedi su GitHub
 (2 commenti) (0 reazioni) (1 assegnatario)Java (3485 fork)batch import
Stalehelp wanted

Metriche repository

Star
 (13.697 star)
Metriche merge PR
 (Merge medio 3g 10h) (146 PR mergiate in 30 g)

Descrizione

Search before asking

  • I searched in the issues and found nothing similar.

Motivation

After we enabled autoSkipNonRecoverableData, the topic will skip the non-recoverable ledger which will lose some data, but the topic is able to load and continues to provide messaging service. This usually happens when multiple bookie replicas are corrupted, or the Ledger has been deleted This usually happens when multiple bookie copies are corrupted

But the Ledger used by the compacted topic is not able to be skipped even if autoSkipNonRecoverableData=true

Solution

Make the compacted Ledger can skip the non-recoverable Ledger if autoSkipNonRecoverableData=true

Alternatives

No

Anything else?

No

Are you willing to submit a PR?

  • I'm willing to submit a PR!

Guida contributor

Direzione di ricerca
Esamina come gli argomenti compatti memorizzano i dati nei ledger e identifica dove i ledger non recuperabili vengono saltati o meno. Modifica la logica di compattazione per saltare i ledger non recuperabili quando autoSkipNonRecoverableData è true.
Tech stack
java
Dominio
backenddistributed systems
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
JavaApache Pulsar
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40