Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

Iceberg data tables whose names end with a metadata-table name fall back to Spark

Abierto Apto para principiantes
  • ¿Algo no está bien?
#6,719 1 comentario 0 reacciones 0 asignados Ver en GitHub

Los mantenedores suelen responder en 1 día

@aryan9948 ya está trabajando en esto.

Desde el 6/10/2026.

Evaluación

Dificultad
2/5
Tiempo estimado
1-3 horas
Aptitud para principiantes
75/100
Tipo de issue
Error
Claridad
Bien especificado
Estado de actividad
Activo
Stack tecnológico
scala, spark
Área
backend, databases

Línea de trabajo

El issue apunta a CometScanRule.isIcebergMetadataTable y IcebergReflection.getTable(scan); empieza por localizar esos puntos de entrada y comprobar cómo se identifican las tablas de metadatos. Añade cobertura para user_files, snapshots y order_history, junto con una lectura real de la tabla de metadatos .files. El trabajo estará terminado cuando los nombres de tablas normales ya no activen la alternativa y las tablas de metadatos reales sigan haciéndolo.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

requires-triage
Describe the bug

CometScanRule.isIcebergMetadataTable matches the table name with endsWith against the metadata table names (files, snapshots, history, entries, manifests, partitions, ...) with no separator. Any ordinary Iceberg table whose name ends with one of those words is treated as a metadata table and falls back to Spark with Iceberg Metadata tables are not supported, for example user_files, order_history, daily_partitions, or a table named snapshots.

val name = scanExec.table.name().toLowerCase(Locale.ROOT)
metadataTableSuffix.exists(name.endsWith)
Steps to reproduce
CREATE TABLE cat.db.user_files (id INT, name STRING) USING iceberg;
INSERT INTO cat.db.user_files VALUES (1, 'a'), (2, 'b');
SELECT * FROM cat.db.user_files;

With spark.comet.scan.icebergNative.enabled=true and spark.comet.explain.fallback.enabled=true the scan is reported as:

BatchScan cat.db.user_files [COMET: Iceberg Metadata tables are not supported]

The same table named users gets CometIcebergNativeScan.

Expected behavior

Only real metadata tables (cat.db.user_files.files, ...metadata.json#files) should fall back.

Additional context

Proposed fix: recognize a metadata table by its Iceberg type. Every metadata table extends org.apache.iceberg.BaseMetadataTable, and the table is reachable through the existing IcebergReflection.getTable(scan). Fall back to a whole-segment name match (.files, #files) only when the table cannot be reached. Happy to open a PR with a test covering user_files, snapshots and order_history plus a real .files read.

Lenguaje dominante
Scala
Estrellas
1.3k
Forks
383
Merge medio
2 d 4 h
PR fusionados (30 d)
419

Preparar el entorno

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de apache/datafusion-comet

Todos los issues de apache/datafusion-comet

Issues similares

Más issues de Scala

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.