Performance benchmarking (fit)

オープン
#14 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度
5/5
見積もり時間
1週間以上
初心者へのやさしさ
25/100
issue の種類
機能追加
明瞭さ
説明が足りない
活発さ
停滞
技術スタック
julia, scikit-learn

調査の方向性

まず、列挙された回帰手法および分類手法について、関数、勾配、Hessian の呼び出し回数と目的関数の収束を含む、体系的なベンチマーク手法を定義します。実装を scikit-learn および quantreg と比較し、列挙されたケースについて、示された期待値に対する再現可能な測定結果または収束プロットが得られた時点で issue の完了とします。

索引モデルが issue の本文から書いたものです。

説明

long-term

Before starting this, need a way to systematically:

  • trace number of function calls, number of gradient calls, number of hessian calls
  • have a way to stop with universal criterion OR show a plot where the objective function decreases and eventually hits the same value as that from ref package.
Against scikitlearn

expect on par or better

  • ridge (in big case should see improvements from using CG)
    • analytical (should see no real diff)
    • CG
  • lasso
    • FISTA
    • ISTA
  • elnet
  • logistic (no or l2 penalty)
    • (cannot test Newton)
    • Newton CG see issue #24
    • LBFGS
  • logistic (elnet penalty)
    • FISTA
    • ISTA
  • multinomial (no or l2 penalty)
    • Newton CG see issue #24
    • LBFGS
  • multinomial (elnet penalty)
    • FISTA
    • ISTA
Against quantreg

expect a bit worse (quantreg is effectively in cpp)

  • quantile regression
主要言語
Julia
スター
86
フォーク
16
PR マージ指標
30日以内にマージされた PR はありません

環境構築

このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

JuliaAI/MLJLinearModels.jl のほかの issue

JuliaAI/MLJLinearModels.jl の issue をすべて見る

似ている issue

Julia の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。