WAL restore starts a new process for every segment
I maintainer di solito rispondono entro 3 giorni
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 18/100
Direzione di ricerca
This is a design proposal, so settle the approach before writing code. Start with how barman-cloud-wal-restore launches per segment and how wal.maxParallel batches downloads, since those set the scope of the opt-in wal.persistentConnection client and the new wal.prefetch field. Done means maintainers agree on the allowed compression and encryption combinations and the prefetch semantics, not that a patch exists.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
WAL restore through barman-cloud-wal-restore starts a new process for every segment. On an S3-compatible store, one gzip-compressed 16 MiB segment took about 1.53 s end to end, about 10.5 MB/s. A long-lived S3 client in the same process, still signing every request, took about 0.67 s for the same segment, about 24 MB/s.
The client would be opt-in (wal.persistentConnection) and limited to S3 with gzip or no compression. Encryption and restoreAdditionalCommandArgs would stay on barman-cloud-wal-restore. History files would stay on barman-cloud-wal-restore.
A second, related limitation is that wal.maxParallel downloads the requested segment and the following ones together, then waits for the whole batch before returning the requested segment. A separate field, wal.prefetch, is needed so the library can place a later segment into the spool without holding the requested one. The plugin would use that field in a follow-up change.
- Lingua principale
- Go
- Stelle
- 11
- Fork
- 30
- Merge medio
- 3g 13h
- PR unite (30g)
- 16
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di cloudnative-pg/barman-cloud
-
Dependency DashboardAperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 15/100
cloudnative-pg/barman-cloud#5 ·
I maintainer di solito rispondono entro 3 giorni
Tutte le issue di cloudnative-pg/barman-cloud
Issue simili
-
[flaky test] TestValidatorCommitterDropsEmptyStatusBatch: submits to the mock VC before its stream is registeredForse già presa @liran-funaro l’ha presa oggi. Apertacoordinator flaky-test race-condition testing
Difficoltà 2/5 1-3 ore Idoneità per principianti 83/100
hyperledger/fabric-x-committer#876 ·
I maintainer di solito rispondono entro 1 giorno
-
kind/features
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
TencentBlueKing/bk-nodemgr#3804 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
cloudnative-pg/plugin-barman-cloud#1187 ·
I maintainer di solito rispondono entro 1 giorno
-
[deliverclient] Remove the unused common/deliverclient packageForse già presa @liran-funaro l’ha presa oggi. Apertacode-hygiene
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
hyperledger/fabric-x-common#236 ·
I maintainer di solito rispondono entro 1 giorno
-
consensus feature I2 S4 U2
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 85/100
I maintainer di solito rispondono entro 1 giorno