Make Europeana fetch viable
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Anfängerfreundlichkeit
- 42/100
- Issue-Typ
- Feature
- Klarheit
- Größtenteils klar
- Aktivitätsstatus
- Veraltet
- Tech-Stack
- python
- Bereich
- data-engineering
Rechercherichtung
Beginne mit dem in sources.md verlinkten Europeana-Abschnitt und verfolge den bestehenden Europeana-Einstiegspunkt für das Abrufen sowie den Ablauf der Abfragezählung. Lege fest, wie Zählungen nur für Rechte und ein vierteljährlicher Plan für den ersten Lauf 30 Ausführungen über 30 Tage abdecken sollen, und überprüfe anschließend, dass der resultierende Zeitplan das Abrufen des vollständigen Datensatzes auf einmal vermeidet.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
Problem
The Europeana data set is too big to fetch all at once, or in its entirety.
- data providers: 4206
- rights: 64
Assuming approximately 1 second per query, the expected duration is approximately 75 hours.
Description
- Add counts for rights only (not including data providers)
- Write a query plan on first run per quarter to map out which queries to make over 30 runs (30 days)
Alternatives
Parallel queries (probably considered impolite, Timid Robot will ask)
Additional context
Implementation
- I would be interested in implementing this feature.
- Vorherrschende Sprache
- Python
- Sterne
- 52
- Forks
- 75
- Ø Merge
- 1 T. 14 Std.
- Gemergte PRs (30 T.)
- 3
Entwicklungsumgebung
- Kein Dockerfile und keine Docker-Compose-Datei
- Keine Pull-Request-Vorlage
- Beitragsleitfaden lesen
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus creativecommons/quantifying
-
Link latest report from repository READMEEvtl. vergeben @Priyankm23 hat das vor 33 Tagen übernommen. Offen✨ goal: improvement 🏁 status: ready for work 💻 aspect: code 📖 aspect: docs good first issue help wanted 🟨 priority: medium
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
creativecommons/quantifying#311 · 3 Kommentare ·
-
GCS free full web search ending 2026-12-31Evtl. wieder frei @TimidRobot hat das vor 190 Tagen übernommen, und es ist kein Pull Request offen. Offen🏁 status: ready for work 💻 aspect: code 🔒 staff only 🛠 goal: fix 🟧 priority: high
creativecommons/quantifying#293 · 3 Kommentare · 1 zugewiesene Person ·
-
Consolidate completion checkEvtl. vergeben @iamshravanijadhav hat das vor 35 Tagen übernommen. Offen✨ goal: improvement 🏁 status: ready for work 💻 aspect: code help wanted 🟩 priority: low
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 38/100
creativecommons/quantifying#288 · 1 Kommentar ·
-
Add a stacked horizontal bar plotEvtl. wieder frei @oree-xx hat das vor 287 Tagen übernommen, und es ist kein Pull Request offen. Offen✨ goal: improvement 💻 aspect: code 🚦 status: awaiting triage 🟩 priority: low
creativecommons/quantifying#274 · 1 zugewiesene Person ·
-
Add Zenodo as Data Source for Commons QuantificationEvtl. wieder frei Ein Pull Request dazu wurde ohne Merge geschlossen. Offen✨ goal: improvement 🏁 status: ready for work 💻 aspect: code help wanted 🟩 priority: low
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 35/100
creativecommons/quantifying#249 ·
Alle Issues in creativecommons/quantifying
Ähnliche Issues
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 67/100
FinanceFlash/unvibecode#699 ·
Maintainer antworten meist innerhalb von 1 Tag
-
enhancement Website
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
OWASP/OWASP-Hunting#96 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
micropython/micropython#19942 ·
Maintainer antworten meist innerhalb von 1 Tag
-
A rebuild posts "not part of this build" success to the commit's failed `nix-build` gate and effectsEvtl. vergeben @Padraic-O-Mhuiris hat das heute übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
Maintainer antworten meist innerhalb von 1 Tag
-
`epoch.Integer` raises a raw OverflowError for integers too large to convert to a floatEvtl. vergeben @arindam77 hat das heute übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
pydantic/pydantic-extra-types#479 ·
Maintainer antworten meist innerhalb von 1 Tag