Sync down improvements
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 初心者へのやさしさ
- 8/100
調査の方向性
The sync-down download path and the --threads option are the starting points, with issue #720 as the referenced report of timeouts. The issue lists several separate proposals (per-file thread count, resumable downloads with a journal file, parallel parts, a .crdownload-style temp name) that are marked as backwards incompatible and needing a major version. Done would require a maintainer decision on which of these to pursue, so it is not a newcomer task yet.
索引モデルが issue の本文から書いたものです。
説明
Currently large file downloads use 10 threads per file, but --threads tells the sync process how many files to process at the same time, with a default of 10 --threads it's 100 download threads in total, which can cause some of them to time out if the source cluster has a high TTFB and local storage device is not fast enough. This has been observed in #720, but also others.
Configurability of download thread count should be improved.
Continuing broken downloads should be implemented somehow. As of today the native B2 server API does not allow for checking of checksums on the cloud side. Most likely it requires a separate "journal" file that would be flushed whenever we write a block, to indicate which parts of the file are written correctly (in case we use parallel downloader), or up to which point the file is correct.
B2 integration checklist says:
Downloads over 200MB should be split into parts and downloaded simultaneously. Once all parts are downloaded, the large file should be stitched together.
out of concern for performance, I think, but maybe if we have multiple download operations running simultaneously (due to sync down of many big files), then splitting them to smaller chunks is not good for anyone.
Finally, if a download operation is interrupted forcibly somehow, the client has a file with correct extension, maybe even correct size, but not necessarily correct data. In order to avoid this, Google Chrome adds a .crdownload extra extension to a file to indicate is has not been finished yet.
Most of those changes are backwards incompatible and would require a major version increase, so they should probably be done together.
- 主要言語
- Python
- スター
- 638
- フォーク
- 138
- 平均マージ
- 8時間 27分
- マージ済み PR（30日）
- 8
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートなし
- コントリビューションガイドを読む
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
Backblaze/B2_Command_Line_Tool のほかの issue
-
enhancement
難易度 2/5 1〜3時間 初心者へのやさしさ 62/100
Backblaze/B2_Command_Line_Tool#553 · コメント 2 件 · リアクション 3 件 ·
メンテナーはふだん 1 日以内に返信
-
Adopt the AI-native SDLC playbook and repository policies対応中かも @goanpeca が 18 日前に担当しました。 オープンenhancement
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
Backblaze/B2_Command_Line_Tool#1192 ·
メンテナーはふだん 1 日以内に返信
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
Backblaze/B2_Command_Line_Tool#1168 ·
メンテナーはふだん 1 日以内に返信
-
Add to MacPortsオープン
難易度 3/5 1〜2日 初心者へのやさしさ 50/100
Backblaze/B2_Command_Line_Tool#1161 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 56/100
Backblaze/B2_Command_Line_Tool#1155 ·
メンテナーはふだん 1 日以内に返信
Backblaze/B2_Command_Line_Tool の issue をすべて見る
似ている issue
-
ライブラリを追加オープンpriority middle
難易度 1/5 1時間未満 初心者へのやさしさ 62/100
KATO-Hiro/AtCoderClans#13015 ·
メンテナーはふだん 1 日以内に返信
-
StringLiteral to IntegerType/LongType silently truncates fractional strings, changing predicate meaning対応中かも @Shahzeb-DataEngineer が今日担当しました。 オープンkind:bug
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
apache/iceberg-python#4382 · コメント 2 件 ·
メンテナーはふだん 1 日以内に返信
-
request-theme
難易度 2/5 1時間未満 初心者へのやさしさ 62/100
LizardByte/ThemerrDB#10024 · コメント 2 件 ·
-
難易度 1/5 1時間未満 初心者へのやさしさ 72/100
btclib-org/btclib-node#2505 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
open-webui/open-webui#34462 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信