apache/iceberg

Spark: Fix map value decoding in test helpers for older versions

Offen

#17.717 geöffnet am 19.08.2026

Auf GitHub ansehenContributor Guide
 (2 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Java (1.915 Forks)batch import
good first issuespark

Repository-Metriken

Stars
 (5.146 Sterne)
PR-Merge-Metriken
 (PR-Metriken ausstehend)

Beschreibung

Problem

The map comparison helpers decode both keys and values with the map key type:

Object actualKey = actualKeys.get(i, convert(keyType));
Object actualValue = actualValues.get(i, convert(keyType));

The value must be decoded with convert(valueType). When the key and value types differ, the current assertions may decode the value incorrectly and do not validate what they appear to validate.

PR #14984 fixes GenericsHelpers for Spark 4.2 and will also fix the duplicate in Spark 4.2 TestHelpers. The same issue remains in both helpers for:

  • spark/v3.5
  • spark/v4.0
  • spark/v4.1

Proposed fix

Update the remaining six occurrences to use:

Object actualValue = actualValues.get(i, convert(valueType));

Add or confirm coverage using a map whose key and value have different Spark types.

Context

Identified while reviewing Spark 4.2 support in #14984: https://github.com/apache/iceberg/pull/14984#discussion_r3788259735

Contributor Guide

Research-Richtung
Prüfen Sie die Map Vergleichs Helfer in den Verzeichnissen spark/v3.5, spark/v4.0 und spark/v4.1. Lokalisieren Sie die sechs Zeilen, in denen sowohl Schlüssel als auch Werte mit convert(keyType) dekodiert werden, und ändern Sie die Wertzeilen so, dass convert(valueType) verwendet wird. Fügen Sie einen Test mit einer Map hinzu, deren Schlüssel und Werte unterschiedliche Spark Typen haben, um das korrekte Verhalten sicherzustellen.
Tech Stack
java
Domain
backendtesting
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
GitJava
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
80