Add a scraper check utility
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Accessibilité débutants
- 25/100
Piste de recherche
Aucun fichier, test ou point d’entrée n’est nommé. Commencez par cartographier les objets de scraperlib qui créent des ZIMs, réencodent des assets et utilisent le cache d’optimisation, puis examinez la gestion des fichiers temporaires. La tâche sera considérée comme terminée lorsqu’un mécanisme automatisé ou explicitement invoqué de vérification de cohérence aura été défini, ainsi que le comportement en cas d’échec.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
Currently, we rely on various objects in scraperlib to:
- create the ZIM
- re-encode videos and images
- cache these assets on the optimization cache
We might consider to have a mechanism to perform sanity checks on scraper behavior:
- did we cached all re-encoded images / videos when a cache is present?
- did we removed temporary files from the filesystem as they are added to the ZIM? (we know that while we prefer in-memory/streaming approaches, there are still many scrapers which are using the temporary file approach, and even some situation which have to rely on it)
What I do not yet know:
- should we make the scraper fails if these checks fails?
- is there any chance we automate these checks? (i.e. no need to modify the scrapers, or as little as possible - at least not make a call to "check_i_m_ok" mandatory, because the scraper developers might forget about it as well ; I doubt about this because there are many kind of situations)
- can we do these checks early? (so that we fail the scraper asap instead of wasting time and resources)
- Langage dominant
- Python
- Étoiles
- 31
- Forks
- 28
- Merge moyen
- 2 j 5 h
- PR mergées (30 j)
- 3
Préparer son environnement
Ce projet ne fournit ni conteneur de développement, ni Dockerfile, ni guide de contribution : l'installation est à votre charge. Commencez par son README, et consultez notre guide de la première contribution pour les étapes générales.
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de openzim/python-scraperlib
-
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
openzim/python-scraperlib#339 ·
-
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
openzim/python-scraperlib#292 ·
-
URL normalisation: do not rewrite consecutive slashes `//` as a single slash `/`Peut-être pris @anshuman83-40 l’a pris il y a 1 jour. Ouverte
Difficulté 3/5 1-2 jours Accessibilité débutants 45/100
openzim/python-scraperlib#340 ·
-
Add fuzzy rule to rewrite URLs of lesbases.anct.gouv.frPeut-être à nouveau libre @benoit74 l’a pris il y a 45 jours, et aucune pull request n’est ouverte. Ouverte
openzim/python-scraperlib#334 · 1 personne assignée ·
-
Difficulté 3/5 1-2 jours Accessibilité débutants 55/100
openzim/python-scraperlib#333 ·
Toutes les issues de openzim/python-scraperlib
Issues similaires
-
json_params_matcher fails on falsy top-level JSON primitives (0, False, "")Peut-être pris @mayureshsonawane17 l’a pris aujourd’hui. OuverteWaiting for: Product Owner
Difficulté 2/5 1-3 heures Accessibilité débutants 84/100
Les mainteneurs répondent en général sous 5 jours
-
Difficulté 2/5 1-3 heures Accessibilité débutants 75/100
Les mainteneurs répondent en général sous 1 jour
-
第二章思考题 8：Skill 追加到末尾不必每轮重新计算 KVOuverte
Difficulté 1/5 Moins d'une heure Accessibilité débutants 88/100
bojieli/ai-agent-book#1169 ·
Les mainteneurs répondent en général sous 1 jour
-
priority:low ready-for-dev
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
OpenHands/extensions#738 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 85/100
micronaut-projects/micronaut-core#13677 ·
Les mainteneurs répondent en général sous 1 jour