Support new-line delimited (NDJSON) export
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 40/100
Direzione di ricerca
The payload names no files, so begin by reading how sadf parses its output-format option and how the existing JSON output is produced, then trace where the document is opened and closed. The goal is a new format that writes one JSON object per line so Polars or jq -c can stream it, which also gives the acceptance test: compare the NDJSON output against the current --format=json output for the same sar file and confirm both parse to the same records. Expect to touch option parsing, the printer, and the man page, so budget reading time before editing.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
I have a workflow where I capture data adhoc with sar and convert it to JSON with sadf, then Parquet using Polars. In some cases I end up with a really large amounts of data (2+ GiB). Polars supports reading/streaming NDJSON data efficiently, whereas it has to load a regular JSON object entirely into memory.
I have been converting the file returned from sadf to NDJSON using jq, but when the input file is that large jq either uses 10+ GiB of memory or takes 10+ mins to run when using --stream.
It would be helpful if sadf could emit NDJSON directly.
- Lingua principale
- C
- Stelle
- 3.4k
- Fork
- 490
- Merge medio
- 3g 14h
- PR unite (30g)
- 5
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di sysstat/sysstat
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100
-
sar: duplicate interrupts when using SUM while reading interrupts in 390x arch (from `/proc/interrupts`)Forse di nuovo libera Una pull request per questa issue è stata chiusa senza essere unita. Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 30/100
Tutte le issue di sysstat/sysstat
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
dkfans/keeperfx#5415 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 66/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 67/100
void-linux/void-runit#141 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
ARM-software/sysarch-acs#600 ·
I maintainer di solito rispondono entro 1 giorno
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
I maintainer di solito rispondono entro 1 giorno