Data Limit/Inefficient data transfer of chart data (options) to the browser
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 25/100
- Tipo di issue
- Bug
- Chiarezza
- Da chiarire
- Stato di attività
- Ferma
- Stack tecnologico
- javascript, nodejs
- Ambito
- backend
Direzione di ricerca
Riproduci il malfunzionamento con un grafico contenente 3 milioni di punti dati, quindi analizza il crash dell’exporter e il trasferimento JSON duplicato descritti nel report. Il lavoro è completato quando i dati di grafici di grandi dimensioni non causano più un crash al limite di trasferimento e il servizio registra il motivo specifico quando il limite viene superato.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Expected behavior
The export server should handle large amounts of data. The technical limitation is likely due to the Chrome DevTools protocol implementation, which is capped at 100 MB. This allows for approximately 12,979,200 data points to be transferred (assuming double precision at 8 bytes per point). However, some bytes should be reserved for other settings within the options object.
Additionally, the exporter crashes without a proper error message when the 100 MB limit is exceeded.
Actual behavior
Data is transferred as a string representation of the JSON object, which consumes more than twice the amount of data per data point. We are currently observing a limit of around 2,550,000 data points, resulting in a JSON string of roughly 100 MB. I expected it to be around 50 MB, but the data appears redundant in the transferred message (data.params.arguments[1].value.export.options and data.params.arguments[1].value.export.strInj).
The exporter should not crash when the limit is exceeded. Instead, it should log the specific reason.
One potential solution could be to serialize the JSON to BSON, transfer it as binary data, and then deserialize it back to JSON on the client side.
Reproduction steps
Render a chart with 3 million data points and observe the service crashing.
- Lingua principale
- JavaScript
- Stelle
- 368
- Fork
- 265
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
- Include un Dockerfile o un file Docker Compose
- Nessun modello di pull request
- Nessuna guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di highcharts/node-export-server
-
Update Puppeteer to version 25.11.0+ to allow ARM64 linux images to run node-export-serverForse già presa @daniatic l’ha presa 4 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
highcharts/node-export-server#686 ·
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 35/100
highcharts/node-export-server#680 · 1 commento ·
-
How to get a response statusAperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
highcharts/node-export-server#679 ·
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 45/100
highcharts/node-export-server#678 ·
-
Not working on s390xAperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 30/100
highcharts/node-export-server#676 ·
Tutte le issue di highcharts/node-export-server
Issue simili
-
Remove: Fox Deportes SDApertacheck:passed feeds:remove
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 65/100
iptv-org/database#37176 · 1 commento · 1 reazione ·
I maintainer di solito rispondono entro 9 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
hawk-digital-environments/HAWKI#443 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
I maintainer di solito rispondono entro 1 giorno
-
feedback simulation workshop
Difficoltà 2/5 1-3 ore Idoneità per principianti 66/100
githubnext/gh-aw-workshop#4370 ·
I maintainer di solito rispondono entro 1 giorno
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
AltimateAI/vscode-dbt-power-user#2089 ·