firestore: BulkWriter.close() never resolves when a write retried after close() belongs to a batch cut for a same-document write
Maintainer thường phản hồi trong vòng 1 ngày
@cherylEnkidu đang làm issue này rồi.
Từ ngày 28/9/2026.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 72/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Đặc tả rõ ràng
- Mức độ hoạt động
- Sôi nổi
- Công nghệ
- node.js, typescript
Hướng nghiên cứu
Start in build/src/bulk-writer.js by tracing _sendFn, _scheduleCurrentBatch, and _sendBatch through the provided reproduction, especially the retry after a batch is cut with flush=false. Verify the behavior with the emulator-based script and confirm that retries scheduled after close() or flush() are sent and that close() resolves.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Environment details
- Package:
@google-cloud/firestore9.2.0 (latest);build/src/bulk-writer.js - Node.js: v24.21.0
- OS: macOS 27.2 arm64
- Backend: Firestore emulator v1.21.0 and v1.22.0 (both reproduce it deterministically)
Summary
BulkWriter.close() (and flush()) never resolves when a write gets a retryable error and it sits in a batch that _sendFn scheduled with flush=false, i.e. the batch that was cut because the next write targets a document already in it.
_sendFn does this when two writes target the same document:
if (this._bulkCommitBatch.has(op.ref)) {
this._scheduleCurrentBatch(); // flush = false
}
Once that batch commits, _sendBatch calls if (flush) this._scheduleCurrentBatch(flush), which is skipped here. The failing op's onError calls sendFn again, which puts the retry into the new current _bulkCommitBatch. Nothing ever schedules that batch:
close()already ran,- the op is not
flushed(only buffered ops getmarkFlushed()), - and its batch was not a flush batch.
_lastOp therefore never settles, and close() hangs forever. The docs for close() promise the opposite: "Any retries scheduled as part of an onWriteError() handler will be run before the close() promise resolves."
With the default error handler the same thing happens for any retryable code. We hit it through ABORTED, where two writes to one document in one BulkWriter raced each other. The repro below uses a custom onWriteError so it is deterministic.
Steps to reproduce
// npm i @google-cloud/firestore
// FIRESTORE_EMULATOR_HOST=127.0.0.1:8080 node bulkwriter-lost-retry.js
const { Firestore } = require('@google-cloud/firestore');
const db = new Firestore({ projectId: `bw-lost-retry-${Date.now()}` });
const t0 = Date.now();
const log = (...a) => console.log(`+${Date.now() - t0}ms`, ...a);
(async () => {
const bw = db.bulkWriter();
// Retry every error up to 3 attempts, NOT_FOUND included.
bw.onWriteError(err => {
log(`write error code=${err.code} attempt=${err.failedAttempts}`);
return err.failedAttempts < 3;
});
const missing = db.doc('c/missing');
const other = db.doc('c/other');
bw.update(missing, { a: 1 }).catch(e => log('update rejected', e.code));
bw.set(other, { a: 1 });
// Second write to `other`: _sendFn schedules the current batch (update +
// first set) with flush=false and starts a new batch for this write.
bw.set(other, { a: 2 });
await bw.close();
log('close() resolved');
process.exit(0);
})();
setTimeout(() => {
log('BUG: close() still pending after 15s; the retried update was never sent');
process.exit(1);
}, 15000);
Actual:
+64ms write error code=5 attempt=1
+15001ms BUG: close() still pending after 15s; the retried update was never sent
Control: remove the second bw.set(other, …), so no batch gets cut. The retries then run and close() resolves:
+64ms write error code=5 attempt=1
+1200ms write error code=5 attempt=2
+2927ms write error code=5 attempt=3
+2927ms update rejected 5
+2927ms close() resolved
With setLogFunction the last line is BulkWriter.errorFn ... shouldRetry: true, and no further request is sent.
Expected
A retry should be sent even when it belongs to a batch scheduled with flush=false, and close() should resolve once it has run, as documented.
A possible fix: have _sendBatch also reschedule the current batch after a commit when close()/flush() has already been called, for example by tracking a "flush requested" flag on the writer instead of relying on each batch's flush argument. Alternatively, _sendFn could schedule immediately when it re-enqueues a retry after a flush was requested.
Real-world impact
A service that writes one document twice in one BulkWriter (set-merge plus a follow-up update) hung forever in close(). Firestore emulator v1.22.0 started returning ABORTED Transaction lock timeout. for one of the two concurrent batchWrite calls (https://github.com/firebase/firebase-tools/issues/11160), and the retry of that ABORTED write was lost as described above. Real Firestore can also return ABORTED on contention, so production code is exposed too.
- Ngôn ngữ chính
- TypeScript
- Star
- 3.2k
- Fork
- 732
- Merge trung bình
- 2 ngày 11 giờ
- Pull request đã merge (30 ngày)
- 99
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của googleapis/google-cloud-node
-
Broken deprecation chainĐang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 66/100
googleapis/google-cloud-node#9854 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
pubsub: "Operation attempted on ended Span" when a modack is flushed after the message was ackedĐang mởapi: pubsub
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
googleapis/google-cloud-node#9853 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
storage: V4 getSignedUrl sorts canonical headers with localeCompare, so they disagree with X-Goog-SignedHeadersCó thể đã có người làm @itsrayeedscodespace đã nhận 9 ngày trước. Đang mởapi: storage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
googleapis/google-cloud-node#9840 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
firestore: getPartitions() emits gax AutopaginateTrueWarning in every processCó thể đã có người làm @TheRealDanii đã nhận 13 ngày trước. Đang mởapi: firestore
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
googleapis/google-cloud-node#9736 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 82/100
googleapis/google-cloud-node#9723 ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của googleapis/google-cloud-node
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 67/100
ilan-pinto/roaring-lions#1552 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
Maintainer thường phản hồi trong vòng 1 ngày
-
bug: [React Native/Android] KeepAliveService never starts when CAMERA is not granted (Android 14+)Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
cloudflare/realtimekit-ui#208 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
usebruno/bruno-vscode#235 ·
Maintainer thường phản hồi trong vòng 3 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 1 ngày