Comparing`fit!` and `evaluate!` for `LogisticClassifier` with scikit-learn
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Error
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Área
- machine-learning, performance
Línea de trabajo
Comienza con el Gist enlazado y reproduce la comparación de tiempos entre Julia y Python usando las versiones indicadas en el issue. Lee el issue relacionado #14 y comprueba cómo LogisticClassifier expone la configuración del solver, la tolerancia y las iteraciones. Se considera terminado documentar una comparación en igualdad de condiciones o identificar un problema de rendimiento concreto y su alcance.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
This issue is closely related to https://github.com/alan-turing-institute/MLJLinearModels.jl/issues/14
I'm trying to compare performance of fit! and evaluate! in Julia and analogous methods in scikit-learn in Python. The code and data are available by the link: https://gist.github.com/irublev/6e8f928ef78993922aa4b5d735bf3efc
What concerns Julia code, I run it in Windows 10, Julia version 1.6.1 (2021-04-23), MLJ v0.16.4, MLJBase v0.18.6, MLJLinearModels v0.5.4 (and the Python code was run in Python 3.8.6, scikit-learn 0.23.2, numpy 1.19.2).
And the results are as follows:
| Julia | Python | |
|---|---|---|
fit!/fit |
[ Info: Training Machine{LogisticClassifier,…} @116.0.211018 seconds (6.75 k allocations: 23.712 MiB) |
Training took 0.07000088691711426 seconds |
evaluate!/cross_val_score |
Evaluating over 10 folds: 100%[=========================] Time: 0:00:011.343403 seconds (94.58 k allocations: 232.942 MiB, 0.60% gc time) |
Scoring took 0.5599837303161621 seconds |
It should be noted that the corresponding Julia code marked with @time (see https://gist.github.com/irublev/6e8f928ef78993922aa4b5d735bf3efc) was executed several times to exclude compilation time.
And the question I'd like to answer is why MLJ is 2.5-3 times slower than scikit-learn. I tried to make parameters of models in Julia and in Python as close as possible.
But I have not found the way to configure solvers. In Python we have the following list of parameters:
classifier.get_params()
Out[82]:
{'C': 0.1,
'class_weight': None,
'dual': False,
'fit_intercept': True,
'intercept_scaling': 1,
'l1_ratio': None,
'max_iter': 100,
'multi_class': 'auto',
'n_jobs': None,
'penalty': 'l2',
'random_state': None,
'solver': 'lbfgs',
'tol': 0.0001,
Thus, we have here maximal number of iterations, tolerance, etc. And I'm not sure the comparison above is correct, because I do not know what are the values of the respective parameters for LFBGS solver in Julia.
Could you please say how to make sure that all is configured in Julia exactly as it is in Python? And what may be the reason for such performance of Julia? May it be improved somehow? It does not looke as expect on par or better as pointed in https://github.com/alan-turing-institute/MLJLinearModels.jl/issues/14
- Lenguaje dominante
- Julia
- Estrellas
- 86
- Forks
- 16
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de JuliaAI/MLJLinearModels.jl
-
Dificultad 3/5 1-2 días Aptitud para principiantes 78/100
JuliaAI/MLJLinearModels.jl#187 · 1 reacción ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 58/100
JuliaAI/MLJLinearModels.jl#180 ·
-
help wanted
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
JuliaAI/MLJLinearModels.jl#163 · 4 comentarios ·
-
Warning: f_tol is deprecated.Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 45/100
JuliaAI/MLJLinearModels.jl#160 · 1 comentario ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 42/100
JuliaAI/MLJLinearModels.jl#159 · 3 comentarios ·
Todos los issues de JuliaAI/MLJLinearModels.jl
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 79/100
Sienna-Platform/PowerSimulations.jl#1737 ·
Los mantenedores suelen responder en 4 días
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
FluxML/Optimisers.jl#254 ·
-
Minor: floodplain warning percentage, scalar output error message and a never-true identity checkAbiertobug
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
JuliaAI/MLJTransforms.jl#101 ·
Los mantenedores suelen responder en 1 día
-
@contents blocks fail to render on Julia 1.14Posiblemente ocupada @sbfnk la tomó hace 1 día. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
LuxDL/DocumenterVitepress.jl#410 ·