Add S3 based optimization cache support
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Accessibilité débutants
- 35/100
Piste de recherche
Commencez par examiner l’utilisation existante de kiwix_storagelib dans les scrapers et la manière dont les versions de optimizer et des fichiers sont stockées en tant que métadonnées. Définissez le point d’entrée du cache et vérifiez que les identifiants, les téléchargements, les téléversements et les deux comparaisons de versions sont couverts ; aucun fichier ni test précis n’est mentionné dans l’issue.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
We use kiwix_storagelib for implementing S3 based optimization cache in the scrapers. However, this gives rise to redundant code. We put a version of the file along with the optimizer version as the metadata always. So, this can be better implemented in scraperlib. For a start, we can have a caching module that can have 3 functions, (or maybe a class containing methods). The primary 3 things we need are -
- download_from_cache()
- upload_to_cache()
- check_credentials()
There can be several ways to have this, but it should at least fulfill the following -
- Compare optimizer_version
- Compare file_version
Optional things can be to check file upload date and discard if it's older than a specified amount of time. If we go for a class based approach, we can also explore possibilities to improve performance.
- Langage dominant
- Python
- Étoiles
- 31
- Forks
- 31
- Merge moyen
- 2 j 5 h
- PR mergées (30 j)
- 3
Préparer son environnement
Ce projet ne fournit ni conteneur de développement, ni Dockerfile, ni guide de contribution : l'installation est à votre charge. Commencez par son README, et consultez notre guide de la première contribution pour les étapes générales.
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de openzim/python-scraperlib
-
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
openzim/python-scraperlib#339 ·
-
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
openzim/python-scraperlib#292 ·
-
Difficulté 3/5 1-2 jours Accessibilité débutants 68/100
openzim/python-scraperlib#346 ·
-
URL normalisation: do not rewrite consecutive slashes `//` as a single slash `/`Peut-être pris @anshuman83-40 l’a pris il y a 4 jours. Ouverte
Difficulté 3/5 1-2 jours Accessibilité débutants 45/100
openzim/python-scraperlib#340 ·
-
Add fuzzy rule to rewrite URLs of lesbases.anct.gouv.frPeut-être à nouveau libre @benoit74 l’a pris il y a 48 jours, et aucune pull request n’est ouverte. Ouverte
openzim/python-scraperlib#334 · 1 personne assignée ·
Toutes les issues de openzim/python-scraperlib
Issues similaires
-
enhancement
Difficulté 2/5 1-3 heures Accessibilité débutants 85/100
epam/ai-dial-quickapps-backend#628 ·
Les mainteneurs répondent en général sous 2 jours
-
0xlau.dev 已失效，切换成 timlau.meOuverte
Difficulté 1/5 Moins d'une heure Accessibilité débutants 69/100
timqian/chinese-independent-blogs#2235 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
eclipse-score/coverage_tool#27 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 65/100
bojieli/ai-agent-book#1174 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 82/100
RedHatQE/mtv-api-tests#721 ·
Les mainteneurs répondent en général sous 1 jour