scikit-learn/scikit-learn

Investigate SAG/SAGA solver

Open

#23.180 aberto em 21 de abr. de 2022

Ver no GitHub
 (9 comments) (0 reactions) (0 assignees)Python (27.020 forks)batch import
BugModeratehelp wantedmodule:linear_model

Métricas do repositório

Stars
 (66.084 stars)
Métricas de merge de PR
 (Mesclagem média 10d) (90 fundiu PRs em 30d)

Description

Description

The newly introduced tight tests for Ridge in #22910 together with the random seed fixture in #22749 revealed some shortcomings of the sag and saga solver, some are already mentioned in #21305:

  1. It shows some random behavior even with fixed random seed.
  2. The tol needs to be set much smaller to receive comparable results with the other solvers of Ridge.
  3. Saga seems more stable on dense data X, and often needs much more iterations on sparse X.
  4. fit_intercept=True seems to converge slower.

Ideally, the cause for both issues can be identified and fixed.

Some links for context

https://github.com/scikit-learn/scikit-learn/issues/23014 https://github.com/scikit-learn/scikit-learn/pull/23017 https://github.com/scikit-learn/scikit-learn/pull/23026 https://github.com/scikit-learn/scikit-learn/pull/23152 #23177 #25198

Guia do colaborador

Direção de pesquisa
Examine a estabilidade numérica dos solucionadores SAG/SAGA, especialmente com dados esparsos e fit intercept=True. Compare o comportamento de convergência com outros solucionadores e rastreie a implementação para identificar gargalos ou problemas numéricos.
Pilha de tecnologia
python
Domain
machine learning
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Mais de 1 semana
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PythonGit
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
30