recommenders-team/recommenders

[ASK] negative_feedback_sampler super slow

Open

#1539 aperta il 26 set 2021

Vedi su GitHub
 (5 commenti) (0 reazioni) (0 assegnatari)Python (2972 fork)batch import
help wanted

Metriche repository

Star
 (17.706 star)
Metriche merge PR
 (Merge medio 6g 16h) (10 PR mergiate in 30 g)

Descrizione

Hi, I got some questions about the usage of negative_feedback_sampler, my codes are as below:

from recommenders.datasets.pandas_df_utils import negative_feedback_sampler

df_feature = negative_feedback_sampler(df_feature_ori,col_user='userid',col_item='sku',col_label='label',ratio_neg_per_user=1)

df_feature_ori has about 623k rows, and 24 columns, but it really takes so long to process the negative_feedback_sampler, I wonder if I do it wrong or it's just normal situation. Any advice would be appreciated.

Guida contributor

Direzione di ricerca
Indagare l'implementazione di negative feedback sampler in recommenders/datasets/pandas df utils.py. Profilare la funzione con un dataset di 623k righe per identificare i colli di bottiglia. Verificare se le 24 colonne contribuiscono al rallentamento e se esistono metodi di campionamento alternativi. Rivedere commenti o issue esistenti per lamentele simili.
Tech stack
pythonpandas
Dominio
datamachine learning
Tipo issue
Performance
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70