microsoft/SynapseML

Featurizer should provide option to pass through missing values as Double.NaN instead of removing rows (currently the default)

Open

#304 aperta il 18 mag 2018

Vedi su GitHub
 (5 commenti) (0 reazioni) (1 assegnatario)Scala (861 fork)batch import
enhancementgood first issuehelp wanted

Metriche repository

Star
 (5228 star)
Metriche merge PR
 (Merge medio 23h 16m) (2 PR mergiate in 30 g)

Descrizione

Hi! Using lightGBM I faced another problem. I'm not sure if it is bug or feature :) but in our data we have a lot of empty values, so before we used sparse vector to store features, and it worked fine with our previous lib. But when i tried to use featurizer, that you provide - i mentioned, that you skip all raws if any nulls are presents as a feature. you can see it in example in attachment. So is it possible to have sparse feature vector for lightGBM training?

https://gist.github.com/ekaterina-sereda-rf/929183b9bcbbf5baf15eec3e81329992

Guida contributor

Direzione di ricerca
Esamina l'implementazione di Featurizer nella codebase di SynapseML, probabilmente sotto src/main/scala. Il comportamento attuale elimina le righe con feature nulle; il problema richiede un'opzione per mantenere i valori mancanti come Double.NaN. Cerca la classe o l'oggetto Featurizer e identifica dove si trova la logica di gestione dei null. La modifica prevede l'aggiunta di un parametro di configurazione (ad esempio setHandleMissing) e la modifica della logica di trasformazione per eliminare le righe o passare NaN. Poiché il problema ha un assegnatario ed è vecchio, è consigliabile verificare se esistono PR correlati o se i maintainer hanno fornito indicazioni nei commenti.
Tech stack
scala
Dominio
datamachine learning
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
ScalaApache Spark
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40