Add a scraper check utility

オープン

#124 2024年2月5日に作成コメント 0 件リアクション 0 件担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度: 5/5
見積もり時間: 1週間以上
初心者へのやさしさ: 25/100

issue の種類: 機能追加
明瞭さ: 説明が足りない
活発さ: 停滞
技術スタック: python
領域: tooling

調査の方向性

ファイル、テスト、エントリーポイントは指定されていません。まず、ZIMs を作成し、アセットを再エンコードし、最適化キャッシュを使用する scraperlib オブジェクトを整理し、次に一時ファイルの扱いを確認してください。自動的に実行される、または明示的に呼び出されるサニティチェックの仕組みと、失敗時の動作が定義されていれば完了です。

索引モデルが issue の本文から書いたものです。

説明

enhancement question

Currently, we rely on various objects in scraperlib to:

create the ZIM
re-encode videos and images
cache these assets on the optimization cache

We might consider to have a mechanism to perform sanity checks on scraper behavior:

did we cached all re-encoded images / videos when a cache is present?
did we removed temporary files from the filesystem as they are added to the ZIM? (we know that while we prefer in-memory/streaming approaches, there are still many scrapers which are using the temporary file approach, and even some situation which have to rely on it)

What I do not yet know:

should we make the scraper fails if these checks fails?
is there any chance we automate these checks? (i.e. no need to modify the scrapers, or as little as possible - at least not make a call to "check_i_m_ok" mandatory, because the scraper developers might forget about it as well ; I doubt about this because there are many kind of situations)
can we do these checks early? (so that we fail the scraper asap instead of wasting time and resources)

主要言語: Python
スター: 31
フォーク: 27
平均マージ: 3日 7時間
マージ済み PR（30日）: 2

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

はじめの一歩

issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
リポジトリをフォークし、ブランチを切って変更します。
issue 番号を参照したプルリクエストを送ります。

openzim/python-scraperlib のほかの issue

HTML rewriting: also rewrite `poster` attribute オープン

bug

難易度 2/5 1〜3時間初心者へのやさしさ 72/100

openzim/python-scraperlib#339 · 2026年9月16日に作成
[next major] Remove deprecated 'convert' parameter for optimize_image function inside optimization.py オープン

enhancement

難易度 2/5 1〜3時間初心者へのやさしさ 68/100

openzim/python-scraperlib#292 · 2026年4月11日に作成
URL normalisation: URL-encoded `#` makes its way into the path, but is lost when obtaining the URI of that entry オープン

bug

難易度 4/5 3〜5日初心者へのやさしさ 35/100

openzim/python-scraperlib#341 · 2026年9月17日に作成
URL normalisation: do not rewrite consecutive slashes `//` as a single slash `/` オープン

bug

難易度 3/5 1〜2日初心者へのやさしさ 45/100

openzim/python-scraperlib#340 · 2026年9月17日に作成
Add fuzzy rule to rewrite URLs of lesbases.anct.gouv.fr オープン

bug

openzim/python-scraperlib#334 · 担当者 1 名 · 2026年8月21日に作成

openzim/python-scraperlib の issue をすべて見る

似ている issue

[Bug] reef-hermes tells me to resume with hermes --resume, which does not work from my shell オープン

area: harness bug status: needs-triage

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

Human-Agent-Society/reef#625 · 2026年9月24日に作成
Bump transitive axios to >=1.18.0 to address GHSA-hcpx-6fm6-wx23 オープン

難易度 2/5 1〜3時間初心者へのやさしさ 70/100

coinbase/cdp-sdk#828 · 2026年9月24日に作成
AccessibleResourceCard/AccessibleChannelCard crash when a resource has more than one learning activity (getActivityTags returns an object instead of an array) オープン

難易度 1/5 1時間未満初心者へのやさしさ 80/100

learningequality/kolibri#15351 · コメント 2 件 · 2026年9月24日に作成
audeer.path(): optionally expand environment variables オープン

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

audeering/audeer#212 · コメント 1 件 · 2026年9月24日に作成
Name consistency オープン

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

eellak/triplestore#65 · コメント 1 件 · 2026年9月24日に作成

Python の issue をもっと見る