A shard whose drive is full cannot free space
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
Issue này chưa được đánh giá.
Mô tả
Expected Behavior
Deleting data frees space, on a full drive most of all.
Current Behavior
GC removes objects from the metabase first and stops if that fails
(shard/delete.go#L43-L46:
return err // stop on metabase error ?). The metabase is on the same
drive, so on a full one the write fails and nothing is deleted, on every
GC pass:
warn shard/gc.go:172 can't delete objects {"shard_id": "Ck99uKR2FLWR7oYAH3Vfyz", "error": "write /drives/d0/meta: no space left on device"}
0.58.2, four storage nodes with two shards each, every shard on its own
1 GiB ext4 filesystem (metabase and payload together), REP 2. 4 MiB
objects were written until every PUT failed; four of the eight
filesystems were then 100% full. Then the container was removed
(neofs-cli container delete). Nine minutes later:
| Filesystem | Used | Objects deleted by GC |
|---|---|---|
| s01 d0, s03 d0, s03 d1, s04 d0 (not full before) | 1% | about 237 each |
| s01 d1, s02 d0, s02 d1, s04 d1 (full before) | 100% | 0, the warning above on every pass |
Node s02, with both shards full, can store nothing and free nothing, and
stays that way.
Possible Solution
Keep a reserve: stop accepting writes on a shard before its filesystem is
full, so that the metabase can still be written. Or free payload first
when the metabase write fails for lack of space.
Steps to Reproduce (for bugs)
- Storage nodes whose shards are on small filesystems of their own.
- PUT objects until all PUTs fail with
no space left on device. - Delete the container (or the objects) and watch the node's log and
df.
Regression
Not known.
Your Environment
- Version used: 0.58.2 (first seen on 0.58.1)
- Server setup and configuration: 4 storage nodes, 2 shards each (fstree and metabase on one ext4 filesystem of 1 GiB per shard, write-cache disabled), 1 inner ring node, in Docker on one machine
- Operating System and version (
uname -a): Linux 6.8.0 aarch64 (Ubuntu 24.04)
- Ngôn ngữ chính
- Go
- Star
- 37
- Fork
- 56
- Merge trung bình
- 1 ngày 21 giờ
- Pull request đã merge (30 ngày)
- 46
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Không có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của nspcc-dev/neofs-node
-
bug hal:proposed neofs-storage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
nspcc-dev/neofs-node#4325 · 3 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Check alpha scope in IRĐang mởhal:proposed I4 neofs-storage S3 security U4
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 69/100
nspcc-dev/neofs-node#4280 · 2 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 45/100
nspcc-dev/neofs-node#4339 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
enhancement I3 neofs-storage performance S3 U3
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 20/100
nspcc-dev/neofs-node#4337 · 2 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
bug neofs-storage
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 45/100
nspcc-dev/neofs-node#4336 ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của nspcc-dev/neofs-node
Issue tương tự
-
Missing Readme InstructionsĐang mở
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 78/100
OpenSlides/openslides-go#342 ·
Maintainer thường phản hồi trong vòng 4 ngày
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 77/100
-
docs: link to the CLA in InditexTech/foss instead of keeping a local CLA.mdCó thể đã có người làm @amagan đã nhận hôm nay. Đang mởdocumentation
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 88/100
InditexTech/redkey-operator#129 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 74/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Project submission: Landed MCPĐang mở
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 88/100