Integrate KiwixStorage
Les mainteneurs répondent en général sous 1 jour
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Accessibilité débutants
- 25/100
- Type d'issue
- Fonctionnalité
- Clarté
- À clarifier
- Activité
- À l'abandon
- Stack technique
- aws, python
- Domaine
- backend-api-design, cloud
Piste de recherche
Commencez par examiner comment scraperlib et ses scrapers utilisent actuellement S3 et KiwixStorage, puis comparez cette utilisation avec l’API de python-storagelib. Le travail est considéré comme terminé lorsque les tests et l’intégration demandés ont été ajoutés, que les dépendances ont été mises à jour et que l’API plus réduite ainsi que la structure modulaire des dépendances décrites dans l’issue ont été définies.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
Ours scrapers all depend on S3 and use KiwixStorage for it. That wrapper and repo are mostly untouched (yet working) and would great benefit from being integrated into scraperlib: tests, usage, dependencies update, better API, etc.
Now that we had experience using it, it probably make sense to reduce its API to what's actually used.
It's true that some non-scraper projects are using it (cardshop and zimfarm to upload to S3), but those are also using scraperlib and we've discussed making scraperlib's dependencies more modular via extras anyway.
- Langage dominant
- Python
- Étoiles
- 31
- Forks
- 32
- Merge moyen
- 5 j 10 h
- PR mergées (30 j)
- 4
Préparer son environnement
Ce projet ne fournit ni conteneur de développement, ni Dockerfile, ni guide de contribution : l'installation est à votre charge. Commencez par son README, et consultez notre guide de la première contribution pour les étapes générales.
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de openzim/python-scraperlib
-
save_large_file downloads are not robust to transient HTTP/host errorsPeut-être pris @Sriram-Nambiar l’a pris il y a 1 jour. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 74/100
openzim/python-scraperlib#348 · 1 commentaire · 1 personne assignée ·
Les mainteneurs répondent en général sous 1 jour
-
[next major] Remove deprecated 'convert' parameter for optimize_image function inside optimization.pyPeut-être pris @Sriram-Nambiar l’a pris il y a 1 jour. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
openzim/python-scraperlib#292 · 1 commentaire · 1 personne assignée ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 3/5 1-2 jours Accessibilité débutants 68/100
openzim/python-scraperlib#346 ·
Les mainteneurs répondent en général sous 1 jour
-
Add fuzzy rule to rewrite URLs of lesbases.anct.gouv.frPeut-être pris @Sriram-Nambiar l’a pris aujourd’hui. Ouverte
openzim/python-scraperlib#334 · 2 commentaires · 1 personne assignée ·
Les mainteneurs répondent en général sous 1 jour
-
Is beartype cost acceptable?Ouverte
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 35/100
openzim/python-scraperlib#325 · 4 commentaires ·
Les mainteneurs répondent en général sous 1 jour
Toutes les issues de openzim/python-scraperlib
Issues similaires
-
Difficulté 2/5 1-3 heures Accessibilité débutants 75/100
common-workflow-language/cwl-utils#477 ·
Les mainteneurs répondent en général sous 1 jour
-
Add dependabotOuvertefeat
Difficulté 2/5 Moins d'une heure Accessibilité débutants 72/100
open-nudge/opentemplate#204 ·
Les mainteneurs répondent en général sous 1 jour
-
github-stale-ci-pr-closer: KV state is double-wrapped, never persists, and hits the depth-32 limitPeut-être pris @VascoSch92 l’a pris aujourd’hui. Ouvertepriority:medium ready-for-dev
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
OpenHands/extensions#781 ·
Les mainteneurs répondent en général sous 1 jour
-
bug good first issue
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
Les mainteneurs répondent en général sous 1 jour
-
curriculum documentation quality
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
githubnext/gh-aw-workshop#4638 ·
Les mainteneurs répondent en général sous 1 jour