Integrate KiwixStorage

Aperta

#223 aperta il 26/11/2024 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà: 5/5
Tempo stimato: Più di una settimana
Idoneità per principianti: 25/100

Tipo di issue: Funzionalità
Chiarezza: Da chiarire
Stato di attività: Ferma
Stack tecnologico: aws, python
Ambito: backend-api-design, cloud

Direzione di ricerca

Inizia esaminando come scraperlib e i suoi scraper utilizzano attualmente S3 e KiwixStorage, quindi confronta tale utilizzo con l’API di python-storagelib. Il lavoro è completo quando sono stati aggiunti i test e l’integrazione richiesti, aggiornate le dipendenze e definite l’API più ridotta e la struttura modulare delle dipendenze descritte nell’issue.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

enhancement question

Ours scrapers all depend on S3 and use KiwixStorage for it. That wrapper and repo are mostly untouched (yet working) and would great benefit from being integrated into scraperlib: tests, usage, dependencies update, better API, etc.

Now that we had experience using it, it probably make sense to reduce its API to what's actually used.

It's true that some non-scraper projects are using it (cardshop and zimfarm to upload to S3), but those are also using scraperlib and we've discussed making scraperlib's dependencies more modular via extras anyway.

Lingua principale: Python
Stelle: 31
Fork: 27
Merge medio: 3g 7h
PR unite (30g): 2

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Come iniziare

Leggi tutta la issue e poi la guida ai contributi del progetto.
Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
Fai un fork del repository e lavora su un branch.
Apri una pull request che faccia riferimento al numero della issue.

Altre issue di openzim/python-scraperlib

HTML rewriting: also rewrite `poster` attribute Aperta

bug

Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100

openzim/python-scraperlib#339 · Aperta il 16/9/2026
[next major] Remove deprecated 'convert' parameter for optimize_image function inside optimization.py Aperta

enhancement

Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100

openzim/python-scraperlib#292 · Aperta il 11/4/2026
URL normalisation: URL-encoded `#` makes its way into the path, but is lost when obtaining the URI of that entry Aperta

bug

Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

openzim/python-scraperlib#341 · Aperta il 17/9/2026
URL normalisation: do not rewrite consecutive slashes `//` as a single slash `/` Aperta

bug

Difficoltà 3/5 1-2 giorni Idoneità per principianti 45/100

openzim/python-scraperlib#340 · Aperta il 17/9/2026
Add fuzzy rule to rewrite URLs of lesbases.anct.gouv.fr Aperta

bug

openzim/python-scraperlib#334 · 1 assegnatario · Aperta il 21/8/2026

Tutte le issue di openzim/python-scraperlib

Issue simili

issue: imported chats all show as unread in the sidebar Aperta

bug confirmed issue

Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100

open-webui/open-webui#30750 · 1 commento · Aperta il 24/9/2026
OGS AmBe example has no source.timing block, so every event sits at time zero Aperta

Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100

lanl/ScintiPix#61 · Aperta il 24/9/2026
Make Liquid Glass the default theme for the Research build Aperta

enhancement

Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100

OpenwaterHealth/openmotion-bloodflow-app#604 · 1 commento · Aperta il 24/9/2026
tests/puppeteer/test_openai_api_key_ui.js targets controls that do not exist and is run by no workflow Aperta

Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100

LearningCircuit/local-deep-research#6766 · Aperta il 23/9/2026
Delete unused args argument from main() in Python files Aperta

good first issue

Difficoltà 1/5 Meno di un'ora Idoneità per principianti 90/100

ros2/launch#1014 · Aperta il 23/9/2026

Altre issue su Python