Add a scraper check utility
還沒有人認領這個 Issue。
評估
研究方向
未指定任何檔案、測試或進入點。首先整理建立 ZIMs、重新編碼 assets 以及使用最佳化快取的 scraperlib 物件，然後檢視暫存檔案的處理方式。完成的條件是確定一種自動執行或明確呼叫的健全性檢查機制，並定義失敗時的行為。
由索引模型根據 Issue 內容生成。
描述
Currently, we rely on various objects in scraperlib to:
- create the ZIM
- re-encode videos and images
- cache these assets on the optimization cache
We might consider to have a mechanism to perform sanity checks on scraper behavior:
- did we cached all re-encoded images / videos when a cache is present?
- did we removed temporary files from the filesystem as they are added to the ZIM? (we know that while we prefer in-memory/streaming approaches, there are still many scrapers which are using the temporary file approach, and even some situation which have to rely on it)
What I do not yet know:
- should we make the scraper fails if these checks fails?
- is there any chance we automate these checks? (i.e. no need to modify the scrapers, or as little as possible - at least not make a call to "check_i_m_ok" mandatory, because the scraper developers might forget about it as well ; I doubt about this because there are many kind of situations)
- can we do these checks early? (so that we fail the scraper asap instead of wasting time and resources)
- 主要語言
- Python
- 星號
- 31
- 分支
- 31
- 平均合併
- 2 天 5 小時
- 30 天內合併 PR
- 3
環境準備
這個專案沒有提供開發容器、Dockerfile 或貢獻指南，環境需要你自己搭建：先看它的 README，通用步驟見我們的新手貢獻指南。
從這裡開始
- 先讀完整個 Issue，再讀專案的貢獻指南。
- 在 Issue 下留言說明你要接手 —— 這能避免兩個人做同樣的事。
- Fork 儲存庫，在一個分支上完成修改。
- 送出 Pull Request，並在描述裡引用這個 Issue 編號。
openzim/python-scraperlib 的其他 Issue
-
難度 2/5 1-3 小時 新手友好度 72/100
openzim/python-scraperlib#339 ·
-
難度 2/5 1-3 小時 新手友好度 68/100
openzim/python-scraperlib#292 ·
-
難度 3/5 1-2 天 新手友好度 68/100
openzim/python-scraperlib#346 ·
-
URL normalisation: do not rewrite consecutive slashes `//` as a single slash `/`可能已有人在做 @anshuman83-40 於 6 天前認領。 未關閉
難度 3/5 1-2 天 新手友好度 45/100
openzim/python-scraperlib#340 ·
-
Add fuzzy rule to rewrite URLs of lesbases.anct.gouv.fr可能重新可做 @benoit74 於 50 天前認領，目前沒有進行中的 PR。 未關閉
openzim/python-scraperlib#334 · 已指派 1 人 ·
查看 openzim/python-scraperlib 的全部 Issue
相似的 Issue
-
難度 2/5 1-3 小時 新手友好度 72/100
-
EvaluationSuite.run fails with default args_for_task and mutates supplied kwargs可能已有人在做 @ktz03 今天認領。 未關閉
難度 2/5 1-3 小時 新手友好度 82/100
huggingface/evaluate#825 ·
維護者通常 1 天內回覆
-
dependencies feature github_actions good first issue
難度 2/5 1-3 小時 新手友好度 62/100
wemake-services/wemake-django-template#3149 ·
維護者通常 1 天內回覆
-
upstream update
難度 2/5 1-3 小時 新手友好度 65/100
conan-io/conan-center-index#31142 ·
維護者通常 1 天內回覆
-
area:core bug
難度 2/5 1-3 小時 新手友好度 78/100
維護者通常 1 天內回覆