perf(orchestrator): increase NBD dispatch buffer by 28 bytes to coalesce header + max payload in one read
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 1/5
- Thời gian dự kiến
- Dưới một giờ
- Mức phù hợp với người mới
- 88/100
- Loại issue
- Tái cấu trúc
- Độ rõ ràng
- Đặc tả rõ ràng
- Mức độ hoạt động
- Ít trao đổi
- Công nghệ
- go
- Lĩnh vực
- infrastructure
Hướng nghiên cứu
Bắt đầu tại packages/orchestrator/pkg/sandbox/nbd/dispatch.go, ở dispatchBufferSize, và đọc logic dispatch NBD xung quanh. Tăng raw buffer thêm kích thước header 28 byte, sau đó kiểm tra các kiểm tra gói NBD hiện có; hoàn thành khi buffer có thể chứa payload 4 MB cùng header mà không thay đổi hành vi nào khác.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Summary
The NBD dispatch read buffer (dispatchBufferSize) is set to exactly 4 MB, which is the maximum data payload size. However, every NBD request also carries a 28-byte header. This means a maximum-size read (4 MB data + 28-byte header) requires two kernel reads instead of one — the header and data cannot be received in a single recv() call.
Location: packages/orchestrator/pkg/sandbox/nbd/dispatch.go:54
// TODO: Look into optimizing the buffer reads by increasing the buffer size by 28 bytes,
// to account for a request that is 28 bytes of header + 4MB of data (this seems to be preferred kernel buffer size).
dispatchBufferSize = 4 * 1024 * 1024
Root cause
The NBD protocol frames each request as [28-byte header][N bytes payload]. When the kernel sends a 4 MB write, the dispatch loop reads the 28-byte header, then refills the buffer with up to dispatchBufferSize bytes of payload. If dispatchBufferSize == 4 MB, a 4 MB write payload fills the entire buffer, leaving no room to pre-read the next request's header in the same syscall.
Increasing the buffer by exactly 28 bytes allows the tail of one response and the header of the next to be coalesced into a single read.
Proposed fix
// dispatchBufferSize is the raw read buffer for the NBD socket.
// 4MB covers the largest possible data payload; the extra 28 bytes
// let the next request's header arrive in the same read as the
// last byte of the previous payload, saving one syscall per request.
dispatchBufferSize = 4*1024*1024 + 28
This is a single-constant change with no behavioral risk — the buffer is used only for reading from the NBD socket.
Impact
Every NBD read or write request currently requires at least two recv() calls for max-size payloads. Reducing to one call per request lowers syscall overhead for I/O-intensive sandboxes (particularly those doing large sequential reads/writes to the virtual block device).
- Ngôn ngữ chính
- Go
- Star
- 1.6k
- Fork
- 438
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của e2b-dev/runtime
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
-
sandbox cache: StartRemoving state transition not broadcast, all allocations see stale Running state Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 86/100
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 86/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 86/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
Tất cả issue của e2b-dev/runtime
Issue tương tự
-
nix: vendorHash is outdated Đang mở
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 90/100
-
Bob Shell support Đang mởenhancement
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
santhosh-tekuri/jsonschema#276 ·