Performance benchmarking (fit)

Abierto
#14 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
5/5
Tiempo estimado
Más de una semana
Aptitud para principiantes
25/100
Tipo de issue
Nueva funcionalidad
Claridad
Necesita aclaración
Estado de actividad
Estancado
Stack tecnológico
julia, scikit-learn

Línea de trabajo

Empieza definiendo un enfoque sistemático de benchmarking para los métodos de regresión y clasificación enumerados, incluidos los recuentos de llamadas a la función, al gradiente y al Hessian, así como la convergencia del objetivo. Compara las implementaciones con scikit-learn y quantreg, y considera completado el issue cuando los casos enumerados tengan mediciones reproducibles o gráficos de convergencia en relación con las expectativas indicadas.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

long-term

Before starting this, need a way to systematically:

  • trace number of function calls, number of gradient calls, number of hessian calls
  • have a way to stop with universal criterion OR show a plot where the objective function decreases and eventually hits the same value as that from ref package.
Against scikitlearn

expect on par or better

  • ridge (in big case should see improvements from using CG)
    • analytical (should see no real diff)
    • CG
  • lasso
    • FISTA
    • ISTA
  • elnet
  • logistic (no or l2 penalty)
    • (cannot test Newton)
    • Newton CG see issue #24
    • LBFGS
  • logistic (elnet penalty)
    • FISTA
    • ISTA
  • multinomial (no or l2 penalty)
    • Newton CG see issue #24
    • LBFGS
  • multinomial (elnet penalty)
    • FISTA
    • ISTA
Against quantreg

expect a bit worse (quantreg is effectively in cpp)

  • quantile regression
Lenguaje dominante
Julia
Estrellas
86
Forks
16
Métricas de merge de PR
Sin PR fusionados en 30 d

Preparar el entorno

Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de JuliaAI/MLJLinearModels.jl

Todos los issues de JuliaAI/MLJLinearModels.jl

Issues similares

Más issues de Julia

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.