combust/mleap

Case Insensitivity on MLeap Models

Open

#713 aberto em 8 de set. de 2020

Ver no GitHub
 (3 comments) (0 reactions) (0 assignees)Scala (312 forks)batch import
enhancementhelp wanted

Métricas do repositório

Stars
 (1.461 stars)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

By default, if you train a PySparkML model with a dataframe that has uppercase column names, and then try to run an inference with the same column names but in lowercase, the prediction will fail. Is there a parameter or way to set case insensitivity on inference?

I see this checking for a strict vs relaxed select of the leapframe which I assume is what I'm looking for. How can I set that when serializing a PySpark Model to an MLeap Bundle?

Thanks!

Edit: I see that my second question was wrong - It comes from the transform function, not embedded into the Bundle itself. So when I call model.transform(frame) is there documentation on how to pass in the relaxedSelect option?

Edit: It seems like I'm incorrect on what relaxedSelect does. It seems to just "not throw an error on columns that don't exist" instead of being case insensitive. Is there a case insensitivity option?

Guia do colaborador

Direção de pesquisa
Examine o arquivo Transform.scala nas linhas mencionadas (mleap executor/src/main/scala/ml/combust/mleap/executor/Transform.scala) para entender o parâmetro relaxedSelect. Investigue se uma opção de não diferenciação de maiúsculas/minúsculas pode ser adicionada para correspondência de nomes de coluna durante a inferência. Procure por quaisquer propriedades ou configurações existentes no formato de pacote MLeap. Como nenhum mantenedor respondeu, o contribuidor deve propor uma solução na issue antes de implementar.
Pilha de tecnologia
scalapython
Domain
backendmachine learning
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
ScalaPySparkMLeap
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
20