apache/iceberg

Spark: Fix map value decoding in test helpers for older versions

Aberta

#17.717 aberto em 19 de ago. de 2026

Ver no GitHubGuia do colaborador
 (2 comentários) (0 reação) (0 responsável)Java (1.915 forks)batch import
good first issuespark

Métricas do repositório

Stars
 (5.146 estrelas)
Métricas de merge de PR
 (Métricas PR pendentes)

Description

Problem

The map comparison helpers decode both keys and values with the map key type:

Object actualKey = actualKeys.get(i, convert(keyType));
Object actualValue = actualValues.get(i, convert(keyType));

The value must be decoded with convert(valueType). When the key and value types differ, the current assertions may decode the value incorrectly and do not validate what they appear to validate.

PR #14984 fixes GenericsHelpers for Spark 4.2 and will also fix the duplicate in Spark 4.2 TestHelpers. The same issue remains in both helpers for:

  • spark/v3.5
  • spark/v4.0
  • spark/v4.1

Proposed fix

Update the remaining six occurrences to use:

Object actualValue = actualValues.get(i, convert(valueType));

Add or confirm coverage using a map whose key and value have different Spark types.

Context

Identified while reviewing Spark 4.2 support in #14984: https://github.com/apache/iceberg/pull/14984#discussion_r3788259735

Guia do colaborador

Direção de pesquisa
Inspecione os helpers de comparação de mapas nos diretórios spark/v3.5, spark/v4.0 e spark/v4.1. Localize as seis linhas em que tanto as chaves quanto os valores são decodificados com convert(keyType) e altere as linhas de valor para usar convert(valueType). Adicione um teste com um mapa cujas chaves e valores têm tipos Spark diferentes para garantir o comportamento correto.
Pilha de tecnologia
java
Domain
backendtesting
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
GitJava
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
80