Spark: Fix map value decoding in test helpers for older versions

(2 commenti) (0 reazioni) (0 assegnatari)Java (1915 fork)batch import

good first issuespark

Metriche repository

Star: (5146 stelle)
Metriche merge PR: (Metriche PR in attesa)

Descrizione

Problem

The map comparison helpers decode both keys and values with the map key type:

Object actualKey = actualKeys.get(i, convert(keyType));
Object actualValue = actualValues.get(i, convert(keyType));

The value must be decoded with convert(valueType). When the key and value types differ, the current assertions may decode the value incorrectly and do not validate what they appear to validate.

PR #14984 fixes GenericsHelpers for Spark 4.2 and will also fix the duplicate in Spark 4.2 TestHelpers. The same issue remains in both helpers for:

spark/v3.5
spark/v4.0
spark/v4.1

Proposed fix

Update the remaining six occurrences to use:

Object actualValue = actualValues.get(i, convert(valueType));

Add or confirm coverage using a map whose key and value have different Spark types.

Context

Identified while reviewing Spark 4.2 support in #14984: https://github.com/apache/iceberg/pull/14984#discussion_r3788259735

Guida contributor

Direzione di ricerca: Ispeziona gli helper di confronto delle mappe nelle directory spark/v3.5, spark/v4.0 e spark/v4.1. Individua le sei righe in cui sia le chiavi che i valori vengono decodificati con convert(keyType) e modifica le righe dei valori per usare convert(valueType). Aggiungi un test con una mappa le cui chiavi e valori hanno tipi Spark diversi per assicurare il comportamento corretto.
Tech stack: java
Dominio: backendtesting
Tipo issue: Bug
Difficoltà: 2
Tempo stimato: 1-3 ore
Stato attività: Attiva
Chiarezza: Chiara
Prerequisiti: GitJava
Adatta ai principianti: 80