rapidsai/cudf

[BUG] Loading a missing column from a Parquet file results in ArrayIndexOutOfBoundsException

Aberta

#11.278 aberto em 15 de jul. de 2022

Ver no GitHubGuia do colaborador
 (2 comentários) (0 reação) (0 responsável)C++ (735 forks)batch import
JavaPythonSparkbuggood first issue

Métricas do repositório

Stars
 (6.000 estrelas)
Métricas de merge de PR
 (Mesclagem média 17d 21h) (230 fundiu PRs em 30d)

Description

Describe the bug Attempting to load a non-existent column from a Parquet file throws ArrayIndexOutOfBoundsException instead of a more specific error.

Steps/Code to reproduce bug Try to load a single column name that does not exist from a Parquet file. For example:

Table.readParquet(ParquetOptions.builder().includeColumn("doesnotexist").build(), new java.io.File("data.parquet"))

throws the following exception:

java.lang.ArrayIndexOutOfBoundsException: 0
  at ai.rapids.cudf.Table.<init>(Table.java:96)
  at ai.rapids.cudf.Table.readParquet(Table.java:974)
  ... 49 elided

Expected behavior A more useful error exception/message should be used than an array index error.

Guia do colaborador

Direção de pesquisa
Inspecione o caminho do código de leitura Parquet nas ligações Java do cudf para localizar onde o índice da coluna é acessado sem verificar nulo ou fora dos limites e, em seguida, adicione uma validação para lançar um erro descritivo.
Pilha de tecnologia
java
Domain
databackend
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
JavacuDF library
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
50