Comparing`fit!` and `evaluate!` for `LogisticClassifier` with scikit-learn
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 25/100
- Tipo di issue
- Bug
- Chiarezza
- Da chiarire
- Stato di attività
- Ferma
- Ambito
- machine-learning, performance
Direzione di ricerca
Inizia dal Gist collegato e riproduci il confronto dei tempi tra Julia e Python usando le versioni elencate nell’issue. Leggi l’issue correlata #14 e verifica come LogisticClassifier espone le impostazioni del solver, della tolleranza e delle iterazioni. Il lavoro è completato quando viene documentato un confronto a parità di condizioni oppure viene identificato uno specifico problema di prestazioni e la sua portata.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
This issue is closely related to https://github.com/alan-turing-institute/MLJLinearModels.jl/issues/14
I'm trying to compare performance of fit! and evaluate! in Julia and analogous methods in scikit-learn in Python. The code and data are available by the link: https://gist.github.com/irublev/6e8f928ef78993922aa4b5d735bf3efc
What concerns Julia code, I run it in Windows 10, Julia version 1.6.1 (2021-04-23), MLJ v0.16.4, MLJBase v0.18.6, MLJLinearModels v0.5.4 (and the Python code was run in Python 3.8.6, scikit-learn 0.23.2, numpy 1.19.2).
And the results are as follows:
| Julia | Python | |
|---|---|---|
fit!/fit |
[ Info: Training Machine{LogisticClassifier,…} @116.0.211018 seconds (6.75 k allocations: 23.712 MiB) |
Training took 0.07000088691711426 seconds |
evaluate!/cross_val_score |
Evaluating over 10 folds: 100%[=========================] Time: 0:00:011.343403 seconds (94.58 k allocations: 232.942 MiB, 0.60% gc time) |
Scoring took 0.5599837303161621 seconds |
It should be noted that the corresponding Julia code marked with @time (see https://gist.github.com/irublev/6e8f928ef78993922aa4b5d735bf3efc) was executed several times to exclude compilation time.
And the question I'd like to answer is why MLJ is 2.5-3 times slower than scikit-learn. I tried to make parameters of models in Julia and in Python as close as possible.
But I have not found the way to configure solvers. In Python we have the following list of parameters:
classifier.get_params()
Out[82]:
{'C': 0.1,
'class_weight': None,
'dual': False,
'fit_intercept': True,
'intercept_scaling': 1,
'l1_ratio': None,
'max_iter': 100,
'multi_class': 'auto',
'n_jobs': None,
'penalty': 'l2',
'random_state': None,
'solver': 'lbfgs',
'tol': 0.0001,
Thus, we have here maximal number of iterations, tolerance, etc. And I'm not sure the comparison above is correct, because I do not know what are the values of the respective parameters for LFBGS solver in Julia.
Could you please say how to make sure that all is configured in Julia exactly as it is in Python? And what may be the reason for such performance of Julia? May it be improved somehow? It does not looke as expect on par or better as pointed in https://github.com/alan-turing-institute/MLJLinearModels.jl/issues/14
- Lingua principale
- Julia
- Stelle
- 86
- Fork
- 16
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di JuliaAI/MLJLinearModels.jl
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 78/100
JuliaAI/MLJLinearModels.jl#187 · 1 reazione ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 58/100
JuliaAI/MLJLinearModels.jl#180 ·
-
help wanted
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
JuliaAI/MLJLinearModels.jl#163 · 4 commenti ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 45/100
JuliaAI/MLJLinearModels.jl#160 · 1 commento ·
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 42/100
JuliaAI/MLJLinearModels.jl#159 · 3 commenti ·
Tutte le issue di JuliaAI/MLJLinearModels.jl
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 79/100
Sienna-Platform/PowerSimulations.jl#1737 ·
I maintainer di solito rispondono entro 4 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
FluxML/Optimisers.jl#254 ·
-
Minor: floodplain warning percentage, scalar output error message and a never-true identity checkApertabug
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
JuliaAI/MLJTransforms.jl#101 ·
I maintainer di solito rispondono entro 1 giorno
-
@contents blocks fail to render on Julia 1.14Forse già presa @sbfnk l’ha presa 1 giorno fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
LuxDL/DocumenterVitepress.jl#410 ·