alteryx/evalml

Improve implementation of ``NullDataCheck``

Aberta

#3.273 aberto em 22 de jan. de 2022

Ver no GitHubGuia do colaborador
 (1 comentário) (0 reação) (1 responsável)Python (93 forks)auto 404
good first issueperformancerefactor

Métricas do repositório

Stars
 (852 estrelas)
Métricas de merge de PR
 (Métricas PR pendentes)

Description

Follow up on https://github.com/alteryx/evalml/pull/3182 based on @freddyaboulton's comment:

I think we can improve this implementation. Right now we do two scans of the data to determine the highly null columns and the columns with any nulls. Doing so also involves creating a new copy of the data without NaturalLanguage/DateTime.

I think if we refactor get_null_column_information to return {col_name: % nulls} we only have to do one scan without creating another copy to determine which are highly null and which are null.

Originally posted by @freddyaboulton in https://github.com/alteryx/evalml/pull/3182#discussion_r789977564

Guia do colaborador

Direção de pesquisa
Refatore a função `get null column information` para retornar um dicionário mapeando nomes de colunas para sua porcentagem de nulos. Isso eliminará a necessidade de duas varreduras e uma cópia dos dados. Garanta que o `NullDataCheck` atualizado use este dicionário único para identificar colunas altamente nulas e colunas com qualquer nulo.
Pilha de tecnologia
python
Domain
datamachine learning
Tipo Issue
Refatoração
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Python
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
75