[FLINK] [VL] Support binary (VARBINARY/BYTES) arguments for the hash expressions (MD5/SHA1/SHA2 family)
Los mantenedores suelen responder en 3 días
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 45/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Activo
- Área
- data-engineering
Línea de trabajo
Start with the LogicalTypeConverter in gluten-flink, which has no VarBinaryType mapping and fails with 'Unsupported logical type: BYTES'. Then find the velox flinksql hash registrations, which only declare Varchar signatures for md5, sha1, sha2 and the sha224 to sha512 variants, and add Varbinary overloads with gtest cases. Done when MD5(X'6162') returns 187ef4436122d1cc2f40dc2b92f0eba0, the SHA-2 family matches native Flink, and empty bytes and NULL are covered.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Backend
VL (Velox)
Bug description
Background
Flink's hash expressions (MD5, SHA1, SHA2 / SHA224 / SHA256 / SHA384 / SHA512)
accept the STRING family, which includes binary types, and hash the raw bytes of the input,
returning a lowercase hex string. Native reference (Flink 1.19.x):
SELECT MD5(X'6162') -> 187ef4436122d1cc2f40dc2b92f0eba0, the same as MD5('ab').
gluten-flink currently supports VARCHAR only:
- velox's flinksql hash functions register
Varcharinput signatures only; LogicalTypeConverterhas noVarBinaryTypemapping, so anyBYTEScolumn or expression
fails at planning withjava.lang.RuntimeException: Unsupported logical type: BYTES NOT NULL
before the hash converter is reached.
The SHA-2 family (#13484) has exactly the same limitation, and end-to-end runs confirm it
(gluten fails at planning, native succeeds). This is not specific to MD5/SHA1 (#13420).
Scope
- velox (flinksql namespace): register
(Varbinary) -> Varcharformd5,sha1,sha2,
sha224,sha256,sha384,sha512, hashing the raw bytes and rendering lowercase hex;
add gtest coverage for binary input (including empty bytes and NULL). - gluten-flink
LogicalTypeConverter: mapVarBinaryTypeto the veloxVarbinaryType. - Tests: gluten UT with a
BYTEScolumn (X'6162', empty bytes, NULL) plus an end-to-end
dual-run against native Flink. - Covers MD5/SHA1 (#13420) and the SHA-2 family (#13484).
Expected behavior
MD5(bytes), SHA1(bytes) and SHA2(bytes, n) return the same digests as native Flink.
Gluten version
main branch
Spark version
None
Spark configurations
No response
System information
No response
Relevant logs
- Lenguaje dominante
- Scala
- Estrellas
- 1.6k
- Forks
- 685
- Merge medio
- 4 d 16 h
- PR fusionados (30 d)
- 84
Preparar el entorno
Inicia el contenedor de desarrollo del proyecto en tu navegador, con tu propia cuenta de GitHub.
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de apache/gluten
-
[CORE] Selecting a cost model the backend has no coster for fails with ClassNotFoundExceptionPosiblemente ocupada @LuciferYang la tomó hace 1 día. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 66/100
Los mantenedores suelen responder en 3 días
-
bug unit testing velox backend
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
apache/gluten#13463 · 1 comentario ·
Los mantenedores suelen responder en 3 días
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 82/100
Los mantenedores suelen responder en 3 días
-
[VL] madvise(WILLNEED) call fails in MmapFileStream because of wrong calculation of fetching lengthQuizá libre de nuevo Un pull request para esta issue se cerró sin fusionarse. Abiertobug triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
Los mantenedores suelen responder en 3 días
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 3 días
Todos los issues de apache/gluten
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
rchillyard/TableParser#206 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
Los mantenedores suelen responder en 2 días
-
? - Needs Triage bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 66/100
NVIDIA/cudf-spark#17063 ·
Los mantenedores suelen responder en 2 días
-
bug 🐞 User issue 🚨
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
valkey-io/valkey-glide#7813 · 2 comentarios ·
Los mantenedores suelen responder en 1 día