Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

arraytable significantly slows down when passed table with heterogenous columns

Aperta
  • Qualcosa non va?
#8 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
35/100
Tipo di issue
Bug
Chiarezza
Abbastanza chiara
Stato di attività
Ferma
Stack tecnologico
json, julia
Ambito
data, performance

Direzione di ricerca

Inizia eseguendo il benchmark Julia fornito e confronta gli entry point arraytable e objecttable su DataFrames eterogenei. Segui il percorso arraytable per identificare perché il suo tempo di esecuzione cresce molto più rapidamente, quindi verifica la modifica con le stesse combinazioni di colonne e righe. Il lavoro è completato quando arraytable gestisce colonne eterogenee senza il divario di prestazioni segnalato.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Here is the test code:

using JSONTables, DataFrames

results = DataFrame(cols=Int[], rows=Int[], arraytable=Float64[], objecttable=Float64[])
for cols in (100, 200, 300, 400, 500), rows in (10^3, 10^4, 10^5)
    @show (cols, rows)
    df = DataFrame(ones(rows, cols))
    df[!, 1] .= "a"
    df[!, 2] .= 1
    df[!, 3] .= true
    open(io -> objecttable(io, df), "test.json", "w")
    x1 = @elapsed open(io -> arraytable(io, df), "test.json", "w")
    open(io -> objecttable(io, df), "test.json", "w")
    x2 = @elapsed open(io -> objecttable(io, df), "test.json", "w")
    push!(results, [cols, rows, x1, x2])
end

and here is the benchmark result:

julia> results
15×4 DataFrame
│ Row │ cols  │ rows   │ arraytable │ objecttable │
│     │ Int64 │ Int64  │ Float64    │ Float64     │
├─────┼───────┼────────┼────────────┼─────────────┤
│ 1   │ 100   │ 1000   │ 0.178669   │ 0.0328257   │
│ 2   │ 100   │ 10000  │ 1.65927    │ 0.26272     │
│ 3   │ 100   │ 100000 │ 16.2332    │ 2.36529     │
│ 4   │ 200   │ 1000   │ 0.349468   │ 0.0498271   │
│ 5   │ 200   │ 10000  │ 3.49195    │ 0.595482    │
│ 6   │ 200   │ 100000 │ 34.8853    │ 4.9485      │
│ 7   │ 300   │ 1000   │ 0.547324   │ 0.0803132   │
│ 8   │ 300   │ 10000  │ 5.16746    │ 0.759614    │
│ 9   │ 300   │ 100000 │ 52.3498    │ 7.48296     │
│ 10  │ 400   │ 1000   │ 0.714898   │ 0.104794    │
│ 11  │ 400   │ 10000  │ 6.91257    │ 1.00389     │
│ 12  │ 400   │ 100000 │ 73.8235    │ 11.4878     │
│ 13  │ 500   │ 1000   │ 0.947894   │ 0.146453    │
│ 14  │ 500   │ 10000  │ 10.5129    │ 1.42812     │
│ 15  │ 500   │ 100000 │ 94.0811    │ 13.1131     │
Lingua principale
Julia
Stelle
71
Fork
11
Nessuna PR unita negli ultimi 30g

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di JuliaData/JSONTables.jl

Tutte le issue di JuliaData/JSONTables.jl

Issue simili

Altre issue su Julia

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.