recommenders-team/recommenders

[ASK] negative_feedback_sampler super slow

Open

#1.539 aberto em 26 de set. de 2021

Ver no GitHub
 (5 comments) (0 reactions) (0 assignees)Python (2.972 forks)batch import
help wanted

Métricas do repositório

Stars
 (17.706 stars)
Métricas de merge de PR
 (Mesclagem média 6d 16h) (10 fundiu PRs em 30d)

Description

Hi, I got some questions about the usage of negative_feedback_sampler, my codes are as below:

from recommenders.datasets.pandas_df_utils import negative_feedback_sampler

df_feature = negative_feedback_sampler(df_feature_ori,col_user='userid',col_item='sku',col_label='label',ratio_neg_per_user=1)

df_feature_ori has about 623k rows, and 24 columns, but it really takes so long to process the negative_feedback_sampler, I wonder if I do it wrong or it's just normal situation. Any advice would be appreciated.

Guia do colaborador

Direção de pesquisa
Investigar a implementação de negative feedback sampler em recommenders/datasets/pandas df utils.py. Fazer um perfil de desempenho da função com um conjunto de dados de 623k linhas para identificar gargalos. Verificar se as 24 colunas contribuem para a lentidão e se existem métodos de amostragem alternativos. Revisar comentários ou issues existentes para reclamações semelhantes.
Pilha de tecnologia
pythonpandas
Domain
datamachine learning
Tipo Issue
Performance
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PythonGit
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
70