Strategic: migrate ingest to streaming logical replication (pgoutput, proto v2+)
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 25/100
Direzione di ricerca
Inizia leggendo replication.rs:348-452 per comprendere l’attuale parser test_decoding, quindi esamina i file upstream citati replication_client.ex, connection_setup.ex e message_converter.ex. Il lavoro è completo quando ingest usa streaming pgoutput proto v2+ su una connessione di replica dedicata, gestisce i keepalive e i messaggi di relazione, e fa avanzare flushed_wal solo dopo append durevoli.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
The polling ingest (pg_logical_slot_peek_changes + test_decoding, 50ms interval) works but caps the architecture. Moving to the streaming replication protocol with pgoutput proto v2+ (PG 14+) subsumes several open problems at once:
- Large transactions (#6): proto v2 streams in-progress transactions — eliminates whole-txn buffering at the source (upstream Electric is still on proto v1 with a 250MiB hard limit and a spill TODO; this would leapfrog them).
- DDL awareness (#7): relation messages arrive in-stream — no polling reconciler needed for column changes.
- Latency: push instead of 50ms poll; keepalives + standby status updates give server-driven lag feedback and prevent
wal_sender_timeoutdisconnects. - WAL retention hygiene (#5): keepalive acks advance the slot during idle periods so it doesn't pin WAL on unrelated traffic.
Design notes: dedicated replication connection (session-stateful, like today's ingestor); ack (flushed_wal in standby updates) only after DS appends are durable — our current fsync-before-advance invariant maps directly onto the standby-update protocol; test_decoding parsing (replication.rs:348-452) is replaced by binary pgoutput decoding. Upstream references: postgres/replication_client.ex (+ connection_setup.ex state machine, message_converter.ex), keepalive interval min(wal_sender_timeout/3, 15s).
Sequencing: after the P0 wave (#3–#8) — the guard+spill mitigations in #6 keep the polling path safe until this lands.
🤖 Generated with Claude Code
- Lingua principale
- Rust
- Stelle
- 32
- Fork
- 7
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di electric-sql/electric-circuits
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100
-
DS disk growth: table-stream prefix trimming (log-native in ds-rust), size accounting; no compactionAperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 38/100
Tutte le issue di electric-sql/electric-circuits
Issue simili
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 80/100
storytold/craft-libs#1674 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
-
bug file-compat priority: high
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
storytold/gridcraft#4296 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
@solana/pay: `exports["."].require.types` points to `./dist/index.d.cts`, which is never emittedAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 80/100
solana-foundation/pay#547 ·
I maintainer di solito rispondono entro 1 giorno