Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

finalize HPLT 4.0 public release

Aperta
  • Qualcosa non va?
#1 1 commento 0 reazioni 1 assegnatario Vedi su GitHub

@oepen ci sta già lavorando.

Dal 6/8/2026.

Valutazione

Questa issue non è ancora stata valutata.

Descrizione

at long last, all of the pieces are on the table: (a) petabytes of raw files from the HPLT pipeline, (b) 450 or so terabytes of the pool, and 44 + 12 + 15 terabytes of final clean, noisy, and poor data after filtering. of these, (a) resides on LUMI-O (with an interim manifesto in /nird/datalake/NS8112K/public/four/pool/lumio.jsonl), while everything else is already pushed to the NIRD download site.

what remains to be done are analytics reports, organizing checksums and download maps, deciding on how to make the pool and raw data useable, and working with @lukasweymann, @gramirez-prompsit, @akutuzov, and the rest of the HPLT team on writing and polishing the download web page(s).

Lingua principale
Shell
Stelle
1
Fork
0
Nessuna PR unita negli ultimi 30g

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di OpenEuroLLM/web-data-processing

Tutte le issue di OpenEuroLLM/web-data-processing

Issue simili

Altre issue su Shell/Bash

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.