Integrate KiwixStorage
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Anfängerfreundlichkeit
- 25/100
- Issue-Typ
- Feature
- Klarheit
- Muss geklärt werden
- Aktivitätsstatus
- Veraltet
- Tech-Stack
- aws, python
- Bereich
- backend-api-design, cloud
Rechercherichtung
Beginne damit zu prüfen, wie scraperlib und seine Scraper derzeit S3 und KiwixStorage verwenden, und vergleiche diese Verwendung anschließend mit der API von python-storagelib. Als abgeschlossen gilt die Aufgabe, wenn die angeforderten Tests und die Integration hinzugefügt, die Abhängigkeiten aktualisiert und die in diesem Issue beschriebene kleinere API sowie die modulare Abhängigkeitsstruktur definiert wurden.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
Ours scrapers all depend on S3 and use KiwixStorage for it. That wrapper and repo are mostly untouched (yet working) and would great benefit from being integrated into scraperlib: tests, usage, dependencies update, better API, etc.
Now that we had experience using it, it probably make sense to reduce its API to what's actually used.
It's true that some non-scraper projects are using it (cardshop and zimfarm to upload to S3), but those are also using scraperlib and we've discussed making scraperlib's dependencies more modular via extras anyway.
- Vorherrschende Sprache
- Python
- Sterne
- 31
- Forks
- 31
- Ø Merge
- 2 T. 5 Std.
- Gemergte PRs (30 T.)
- 3
Entwicklungsumgebung
Dieses Projekt bietet weder Dev-Container noch Dockerfile noch Beitragsleitfaden – die Einrichtung liegt bei Ihnen. Beginnen Sie mit der README; die allgemeinen Schritte stehen in unserem Leitfaden für den ersten Beitrag.
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus openzim/python-scraperlib
-
HTML rewriting: also rewrite `poster` attributeEvtl. vergeben @anshuman83-40 hat das vor 1 Tag übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
openzim/python-scraperlib#339 · 1 Kommentar ·
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100
openzim/python-scraperlib#292 ·
-
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 68/100
openzim/python-scraperlib#346 ·
-
URL normalisation: do not rewrite consecutive slashes `//` as a single slash `/`Evtl. vergeben @anshuman83-40 hat das vor 7 Tagen übernommen. Offen
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 45/100
openzim/python-scraperlib#340 ·
-
Add fuzzy rule to rewrite URLs of lesbases.anct.gouv.frEvtl. wieder frei @benoit74 hat das vor 51 Tagen übernommen, und es ist kein Pull Request offen. Offen
openzim/python-scraperlib#334 · 1 zugewiesene Person ·
Alle Issues in openzim/python-scraperlib
Ähnliche Issues
-
bug
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 76/100
lugassawan/swe-workbench#799 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 74/100
vllm-project/vllm#61131 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Non-string form field names raise AttributeError when files are attachedEvtl. vergeben @nightcityblade hat das heute übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 82/100
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
kubernetes-client/python#2735 ·
Maintainer antworten meist innerhalb von 1 Tag
-
desktop help wanted test
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
Maintainer antworten meist innerhalb von 1 Tag