Performance benchmarking (fit)

Aperta
#14 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
25/100
Tipo di issue
Funzionalità
Chiarezza
Da chiarire
Stato di attività
Ferma
Stack tecnologico
julia, scikit-learn

Direzione di ricerca

Inizia definendo un approccio sistematico di benchmarking per i metodi di regressione e classificazione elencati, includendo il conteggio delle chiamate alla funzione, al gradiente e all’Hessian, nonché la convergenza dell’obiettivo. Confronta le implementazioni con scikit-learn e quantreg e considera completata l’issue quando per i casi elencati sono disponibili misurazioni riproducibili o grafici di convergenza rispetto alle aspettative indicate.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

long-term

Before starting this, need a way to systematically:

  • trace number of function calls, number of gradient calls, number of hessian calls
  • have a way to stop with universal criterion OR show a plot where the objective function decreases and eventually hits the same value as that from ref package.
Against scikitlearn

expect on par or better

  • ridge (in big case should see improvements from using CG)
    • analytical (should see no real diff)
    • CG
  • lasso
    • FISTA
    • ISTA
  • elnet
  • logistic (no or l2 penalty)
    • (cannot test Newton)
    • Newton CG see issue #24
    • LBFGS
  • logistic (elnet penalty)
    • FISTA
    • ISTA
  • multinomial (no or l2 penalty)
    • Newton CG see issue #24
    • LBFGS
  • multinomial (elnet penalty)
    • FISTA
    • ISTA
Against quantreg

expect a bit worse (quantreg is effectively in cpp)

  • quantile regression
Lingua principale
Julia
Stelle
86
Fork
16
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di JuliaAI/MLJLinearModels.jl

Tutte le issue di JuliaAI/MLJLinearModels.jl

Issue simili

Altre issue su Julia

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.