apache/iceberg

Spark: Fix map value decoding in test helpers for older versions

Ouverte

#17 717 ouverte le 19 août 2026

Voir sur GitHubGuide contributeur
 (2 commentaires) (0 réaction) (0 personne assignée)Java (1 915 forks)batch import
good first issuespark

Métriques du dépôt

Stars
 (5 146 étoiles)
Métriques de merge PR
 (Métriques PR en attente)

Description

Problem

The map comparison helpers decode both keys and values with the map key type:

Object actualKey = actualKeys.get(i, convert(keyType));
Object actualValue = actualValues.get(i, convert(keyType));

The value must be decoded with convert(valueType). When the key and value types differ, the current assertions may decode the value incorrectly and do not validate what they appear to validate.

PR #14984 fixes GenericsHelpers for Spark 4.2 and will also fix the duplicate in Spark 4.2 TestHelpers. The same issue remains in both helpers for:

  • spark/v3.5
  • spark/v4.0
  • spark/v4.1

Proposed fix

Update the remaining six occurrences to use:

Object actualValue = actualValues.get(i, convert(valueType));

Add or confirm coverage using a map whose key and value have different Spark types.

Context

Identified while reviewing Spark 4.2 support in #14984: https://github.com/apache/iceberg/pull/14984#discussion_r3788259735

Guide contributeur

Direction de recherche
Inspectez les helpers de comparaison de cartes dans les répertoires spark/v3.5, spark/v4.0 et spark/v4.1. Localisez les six lignes où les clés et les valeurs sont décodées avec convert(keyType), puis modifiez les lignes de valeur pour utiliser convert(valueType). Ajoutez un test avec une carte dont les clés et les valeurs ont des types Spark différents pour garantir le comportement correct.
Stack technique
java
Domaine
backendtesting
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
GitJava
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
80