[VL] Pandas UDFs fail with "Cannot retain a released vector" on partitions with more than one batch

Abierto
#13,706 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Los mantenedores suelen responder en 3 días

@LuciferYang ya está trabajando en esto.

Desde el 21/11/2026.

  • #13707 de @LuciferYang — abierto

Evaluación

Dificultad
4/5
Tiempo estimado
3-5 días
Aptitud para principiantes
22/100
Tipo de issue
Error
Claridad
Bastante claro
Estado de actividad
Activo
Stack tecnológico
pandas, python, scala, spark

Línea de trabajo

The failure is in ColumnarArrowEvalPythonExec.scala, where adjustRefCnt retains vectors that RefCountedArrowColumnVector.java has already released after the first joined batch. Read how the Python runner's reader reuses the Arrow stream root's vectors, then reproduce with a pandas UDF over a 10,000-row Parquet partition. Done means the second batch no longer hits the released-vector error; PR #13707 is already open against this, so check it first.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

Since #13280, a scalar pandas UDF that runs in ColumnarArrowEvalPythonExec fails when a partition sends more than one batch to Python, which happens once a partition has more than spark.gluten.sql.columnar.maxBatchSize rows (4096 by default):

java.lang.IllegalStateException: Cannot retain a released vector
	at org.apache.gluten.vectorized.RefCountedArrowColumnVector.retain(RefCountedArrowColumnVector.java:49)
	at org.apache.spark.api.python.ColumnarArrowEvalPythonExec.adjustRefCnt(ColumnarArrowEvalPythonExec.scala:519)

The Python runner's reader returns every output batch over the same RefCountedArrowColumnVectors, which wrap the vectors of the Arrow stream reader's root. Closing the first joined batch releases them, and the second batch then retains a released vector.

It reproduces on v1.8.0-rc1 with the default configuration: a pandas UDF over a single 10,000-row Parquet partition fails.

This issue was written with the assistance of AI (Claude Opus).

Lenguaje dominante
Scala
Estrellas
1.6k
Forks
685
Merge medio
4 d 16 h
PR fusionados (30 d)
84

Preparar el entorno

Abrir en Codespaces

Inicia el contenedor de desarrollo del proyecto en tu navegador, con tu propia cuenta de GitHub.

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de apache/gluten

Todos los issues de apache/gluten

Issues similares

Más issues de Scala

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.