alteryx/evalml

Improve implementation of ``NullDataCheck``

Aperta

#3273 aperta il 22 gen 2022

Vedi su GitHubGuida contributor
 (1 commento) (0 reazioni) (1 assegnatario)Python (93 fork)auto 404
good first issueperformancerefactor

Metriche repository

Star
 (852 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Follow up on https://github.com/alteryx/evalml/pull/3182 based on @freddyaboulton's comment:

I think we can improve this implementation. Right now we do two scans of the data to determine the highly null columns and the columns with any nulls. Doing so also involves creating a new copy of the data without NaturalLanguage/DateTime.

I think if we refactor get_null_column_information to return {col_name: % nulls} we only have to do one scan without creating another copy to determine which are highly null and which are null.

Originally posted by @freddyaboulton in https://github.com/alteryx/evalml/pull/3182#discussion_r789977564

Guida contributor

Direzione di ricerca
Refactoring della funzione `get null column information` in modo che restituisca un dizionario che mappa i nomi delle colonne alla loro percentuale di null. Ciò eliminerà la necessità di due scansioni e una copia dei dati. Assicurati che il `NullDataCheck` aggiornato utilizzi questo singolo dizionario per identificare le colonne altamente nulle e le colonne con eventuali null.
Tech stack
python
Dominio
datamachine learning
Tipo issue
Refactoring
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Python
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
75