finalize HPLT 4.0 public release
@oepen arbeitet bereits daran.
Seit 06.8.2026.
Bewertung
Dieses Issue wurde noch nicht bewertet.
Beschreibung
at long last, all of the pieces are on the table: (a) petabytes of raw files from the HPLT pipeline, (b) 450 or so terabytes of the pool, and 44 + 12 + 15 terabytes of final clean, noisy, and poor data after filtering. of these, (a) resides on LUMI-O (with an interim manifesto in /nird/datalake/NS8112K/public/four/pool/lumio.jsonl), while everything else is already pushed to the NIRD download site.
what remains to be done are analytics reports, organizing checksums and download maps, deciding on how to make the pool and raw data useable, and working with @lukasweymann, @gramirez-prompsit, @akutuzov, and the rest of the HPLT team on writing and polishing the download web page(s).
- Vorherrschende Sprache
- Shell
- Sterne
- 1
- Forks
- 0
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Entwicklungsumgebung
Dieses Projekt bietet weder Dev-Container noch Dockerfile noch Beitragsleitfaden – die Einrichtung liegt bei Ihnen. Beginnen Sie mit der README; die allgemeinen Schritte stehen in unserem Leitfaden für den ersten Beitrag.
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus OpenEuroLLM/web-data-processing
-
audio and video extraction from WARCsEvtl. vergeben @nvanva hat das vor 6 Tagen übernommen. Offen
OpenEuroLLM/web-data-processing#8 · 1 Kommentar · 3 zugewiesene Personen ·
-
robots.txtEvtl. vergeben @nvanva hat das vor 6 Tagen übernommen. Offen
OpenEuroLLM/web-data-processing#7 · 1 zugewiesene Person ·
-
S2-S4 updatesEvtl. vergeben @nvanva hat das vor 6 Tagen übernommen. Offen
OpenEuroLLM/web-data-processing#6 · 3 Kommentare · 2 zugewiesene Personen ·
-
S2-S4 integrationEvtl. vergeben @nvanva hat das vor 6 Tagen übernommen. Offen
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 20/100
OpenEuroLLM/web-data-processing#5 · 1 zugewiesene Person ·
-
LUMIO manifest generationEvtl. vergeben @nvanva hat das vor 12 Tagen übernommen. Offen
OpenEuroLLM/web-data-processing#4 · 1 Kommentar · 1 zugewiesene Person ·
Alle Issues in OpenEuroLLM/web-data-processing
Ähnliche Issues
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 74/100
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100
-
Negative subscript on a sparse array counts from the number of elements, not from the highest indexOffenarea: compat bug
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 88/100
reubeno/brush#1570 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 1 Tag
-
bug
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
platform-mesh/helm-charts#2569 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 76/100
kunchenguid/firstmate#7604 ·
Maintainer antworten meist innerhalb von 1 Tag