save_large_file downloads are not robust to transient HTTP/host errors
メンテナーはふだん 1 日以内に返信
@Sriram-Nambiar がすでに取り組んでいます。
2026年10月15日 から。
評価
調査の方向性
wget コマンドは zimscraperlib/download.py の save_large_file() で組み立てられています。まずそこから始めて、既存の --retry-connrefused フラグを確認してください。修正では、HTTP エラー（502/503/504/429）およびホスト名解決の失敗に対する wget のリトライオプションを追加し、その後コマンド文字列を確認します。コマンドがこれらの一時的なエラーを再試行し、ダウンロードの途中で 503 を返すローカルサーバーに対して変更が確認できれば完了です。
索引モデルが issue の本文から書いたものです。
説明
save_large_file() (in zimscraperlib/download.py) shells out to wget with:
wget -t {retries} --retry-connrefused --random-wait --progress=dot:giga -O {fpath} -c {url}
In production (see openzim/zimwright#3), a download failed twice in a row, and it looked like wget wasn't retrying interrupted downloads at all, despite -t {retries} being set.
By default, wget only retries on a specific set of transient errors. Per its manual:
The default is to retry 20 times, with the exception of fatal errors like "connection refused" or "not found" (404), which are not retried.
This command only overrides that for connection-refused (--retry-connrefused). It does not cover:
- Non-2xx HTTP responses such as
502/503/504/429— a transient error from a flaky server/CDN/proxy mid-download — which wget treats as fatal and aborts on, with zero retries. - Host/DNS resolution errors ("Temporary failure in name resolution"), also fatal by default.
Since large file downloads can run for a long time, a brief upstream hiccup returning one of these responses is enough to abort the whole download, with no retry attempted at all — this matches what was observed in the zimwright recipe run.
- 主要言語
- Python
- スター
- 31
- フォーク
- 32
- 平均マージ
- 3日 10時間
- マージ済み PR（30日）
- 9
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
openzim/python-scraperlib のほかの issue
-
[next major] Remove deprecated 'convert' parameter for optimize_image function inside optimization.py対応中かも @Sriram-Nambiar が 6 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
openzim/python-scraperlib#292 · コメント 1 件 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信
-
Relative links in a page whose URL contains `//` are resolved with the slashes collapsed対応中かも このイシューにリンクされたプルリクエストがオープン中、またはマージ済みです。 オープン
難易度 3/5 1〜2日 初心者へのやさしさ 68/100
openzim/python-scraperlib#346 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信
-
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
openzim/python-scraperlib#325 · コメント 4 件 ·
メンテナーはふだん 1 日以内に返信
-
Release 5.5.0再び着手できるかも @benoit74 が 146 日前に担当しましたが、オープン中のプルリクエストはありません。 オープン
openzim/python-scraperlib#309 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信
-
Program hangs forever when adding two items at same path再び着手できるかも @rgaudin が 176 日前に担当しましたが、オープン中のプルリクエストはありません。 オープン
openzim/python-scraperlib#300 · コメント 7 件 ·
メンテナーはふだん 1 日以内に返信
openzim/python-scraperlib の issue をすべて見る
似ている issue
-
bug good first issue
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
yunaremaia/proto-drift#22 ·
-
bug good first issue
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
yunaremaia/memwatch#96 ·
-
bug good first issue
難易度 1/5 1時間未満 初心者へのやさしさ 91/100
yunaremaia/ci-gate-watch#34 ·
-
bug good first issue
難易度 2/5 1〜3時間 初心者へのやさしさ 85/100
yunaremaia/agent-capability-attestation#64 ·
メンテナーはふだん 1 日以内に返信
-
bug good first issue
難易度 1/5 1時間未満 初心者へのやさしさ 86/100
yunaremaia/agent-call-graph#43 ·
メンテナーはふだん 1 日以内に返信