[Question] Explain how sync between buckets work; slow overall speed

Đang mở
  • Có gì không ổn?
#917 8 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
1-2 ngày
Mức phù hợp với người mới
12/100
Loại issue
Tài liệu
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Đình trệ
Công nghệ
python
Lĩnh vực
cloud, documentation

Hướng nghiên cứu

The payload names no source files, tests or entry points, only the b2 sync command with its --threads, --delete and --replaceNewer flags. Start by reading the sync command's help output and the project docs to see what they say about how bucket-to-bucket sync works. Done would mean a written explanation of the sync process and its throughput limits, which requires maintainer input on the design.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Problem

I have a sourceBucket with 30.000 images (50-100 KB each), roughly 1.4 GB storage in total, and I want to "sync" it from to a destinationBucket.

b2 sync --threads <10|100|500> --delete --replaceNewer b2://sourceBucket b2://destinationBucket

As this concern many files, or even a large filesize, I'm stumped that it takes 1.5 to 2 hours to complete. The output of the command above shows between 70-100 kB/s (deteriorating over time), which seems kind of low, even when I run this on a production server with 10 Gbps up/down.

Question

As it seems the network speed, or the amount of threads, don't really have much impact on the overall performance, so could you provide me answers on the following questions:

  1. How does sync between buckets work?
    • I cannot find in the documentation on how this works.
    • Does my environment e.g. network speed, system hardware, or other requirements have any influence on syncs between buckets.
  2. Why does it take so long to for a relatively small amount of files, of such a small size, to be synced to another bucket?
  3. What can be improved on my side to sync it faster?
    • I've already tried tweaking the threads argument, but it only differs in magnitude of +/- 10 kB/s.
Ngôn ngữ chính
Python
Star
638
Fork
138
Merge trung bình
8 giờ 27 phút
Pull request đã merge (30 ngày)
8

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của Backblaze/B2_Command_Line_Tool

Tất cả issue của Backblaze/B2_Command_Line_Tool

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.