Make import retry safe after ambiguous queue enqueue outcomes
I maintainer di solito rispondono entro 1 giorno
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 35/100
- Tipo di issue
- Bug
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Attiva
- Stack tecnologico
- redis, typescript
- Ambito
- backend, distributed-systems
Direzione di ricerca
Start by reading packages/trpc/src/routers/import.ts and apps/worker/src/jobs/import.ts, then inspect this repository's BullMQ version and its job lifecycle behavior. Add coverage for definite failures, ambiguous acknowledgements, duplicate retries, and any reconciliation path selected. Done means ambiguous outcomes cannot create concurrent jobs, definite failures remain retryable, and pending imports have documented recovery.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Requested by @mahmoud-samy as a follow-up to PR #519.
Problem
In packages/trpc/src/routers/import.ts, importRouter.retry changes an import from failed to pending before calling the BullMQ importQueue.add. If add rejects, the route restores failed, which addresses a definite enqueue failure. If Redis persisted the job but the acknowledgement was lost, the rollback can permit a second retry and concurrent jobs for the same import ID. Concurrent jobs can interfere with staging cleanup by import ID in apps/worker/src/jobs/import.ts. A pending import with no live job may also need recovery.
Proposed work
- Investigate this repository's BullMQ version and verify duplicate-job behavior for a deterministic
jobIdkeyed on the import ID. Account for job lifecycle and later retries so valid retries remain possible. - Make retry enqueue idempotent across ambiguous acknowledgements. Do not reset an import to
failedwhen a job might already have been persisted without confirming the outcome. - Assess whether a reconciliation process is necessary for
pendingimports that lack a live job. Implement one if needed, with a safe way to distinguish live, completed, and missing jobs. - Add tests for definite enqueue failures, ambiguous enqueue outcomes, duplicate retries, and reconciliation if implemented.
Acceptance criteria
- An ambiguous acknowledgement cannot cause two active import jobs for the same import ID.
- A definite enqueue failure remains retryable.
- Pending imports without a live job have a documented recovery path.
- Tests cover the selected recovery and idempotency behavior.
Related PR: https://github.com/Openpanel-dev/openpanel/pull/519
Original review comment: https://github.com/Openpanel-dev/openpanel/pull/519#discussion_r4116862559
- Lingua principale
- TypeScript
- Stelle
- 7.1k
- Fork
- 510
- Merge medio
- 7g 2h
- PR unite (30g)
- 7
Preparare l'ambiente
- Include un Dockerfile o un file Docker Compose
- Nessun modello di pull request
- Nessuna guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di Openpanel-dev/openpanel
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
Openpanel-dev/openpanel#532 ·
I maintainer di solito rispondono entro 1 giorno
-
Period comparison badge shows wrong percentage for decreases (100 → 50 shows ↓100%)Forse già presa @sarmah-rup l’ha presa 9 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
Openpanel-dev/openpanel#526 ·
I maintainer di solito rispondono entro 1 giorno
-
Self-hosted missing op1-replay.jsForse già presa @houstona l’ha presa 9 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
Openpanel-dev/openpanel#512 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
login page needs refinementForse già presa @anandghegde l’ha presa 24 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
Openpanel-dev/openpanel#495 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 68/100
Openpanel-dev/openpanel#528 ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di Openpanel-dev/openpanel
Issue simili
-
[bug] diagnostics.dumpBody:Buffer 形态请求(透传 lane)跳过 dumps/ 落盘,仅留 raw/-unknown-Forse già presa @ranxianglei l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
ranxianglei/billion-context#2421 · 2 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
pending triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
nuxt/test-utils#1842 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
MoonshotAI/kimi-code#4146 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
farbenmeer/tapi#531 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
I maintainer di solito rispondono entro 1 giorno