Support Delta connector
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 35/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- kubernetes
- Área
- infrastructure
Línea de trabajo
Comienza con la documentación del Trino Delta connector y la configuración de TrinoCatalog, ConfigMap, podOverrides e initContainers descrita en el issue. Determina cómo se pueden admitir las propiedades de Delta sin reemplazar los archivos de catálogo generados, y considera el trabajo completo cuando las tablas de Delta se puedan configurar sin la solución alternativa documentada.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Docs: https://trino.io/docs/current/connector/delta-lake.html
I was able to setup a delta connector with the following workaround 👇🏻 :
- Established a TrinoCatalog using Hive as the connector to add S3 connection capabilities, necessary for accessing Delta tables stored in S3.
apiVersion: trino.stackable.tech/v1alpha1
kind: TrinoCatalog
metadata:
name: hive
namespace: infrastructure
labels:
trino: trino
spec:
connector:
hive:
metastore:
configMap: hive
s3:
reference: spark-s3-connection
configOverrides:
hive.metastore.username: delta
This allows me to add the s3 connection capabilities.
- Configured a ConfigMap named trino-delta-properties with settings for the Delta connector. This configuration mirrors the Hive setup but excludes hive.security=allow-all due to compatibility issues. It also introduces a Delta-specific setting to enable table registration from S3 storage.
apiVersion: v1
kind: ConfigMap
metadata:
name: trino-delta-properties
namespace: infrastructure
data:
delta.properties: |
connector.name=delta_lake
hive.metastore.uri=thrift://hive.default.svc.cluster.local:9083
hive.metastore.username=delta
hive.s3.aws-access-key=${ENV:CATALOG_HIVE_HIVE_S3_AWS_ACCESS_KEY}
hive.s3.aws-secret-key=${ENV:CATALOG_HIVE_HIVE_S3_AWS_SECRET_KEY}
hive.s3.endpoint=http://s3
hive.s3.path-style-access=true
hive.s3.ssl.enabled=false
delta.register-table-procedure.enabled=true
this configuration has an additional parameter
delta.register-table-procedure.enabled=trueas it'srequired in order to register delta tables that are already in the s3 object storage.
- Adjusted
podOverridesfor both worker and coordinator to mount theConfigMap. However, this method replaces the entire/stackable/config/catalogdirectory, inadvertently removing thehive.propertiesfile generated byTrinoCatalog. While sufficient for some scenarios, this approach may not cater to all use cases due to its overriding behavior.
Alternatively use
initContainersto inject the Delta connector properties into the existing configuration directory without overwriting existing configurations.
podOverrides:
spec:
containers:
- name: trino
volumeMounts:
- name: delta-properties
mountPath: /stackable/config/catalog
volumes:
- name: access-control-properties
configMap:
- name: delta-properties
configMap:
name: trino-delta-properties
roleGroups:
default:
replicas: 1
- Lenguaje dominante
- Rust
- Estrellas
- 63
- Forks
- 13
- Merge medio
- 1 d 20 h
- PR fusionados (30 d)
- 12
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de stackabletech/trino-operator
-
customer-request
Dificultad 2/5 1-3 horas Aptitud para principiantes 60/100
stackabletech/trino-operator#499 ·
-
type/bug
Dificultad 4/5 3-5 días Aptitud para principiantes 45/100
stackabletech/trino-operator#936 · 3 comentarios ·
-
release-note
stackabletech/trino-operator#854 · 3 comentarios · 1 asignado ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 45/100
stackabletech/trino-operator#849 ·
-
customer-request type/feature-improvement
Dificultad 3/5 1-2 días Aptitud para principiantes 35/100
stackabletech/trino-operator#813 · 1 comentario ·
Todos los issues de stackabletech/trino-operator
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
-
bug core
Dificultad 2/5 1-3 horas Aptitud para principiantes 86/100
-
JIT-compiled number -> Decimal conversion silently overflows instead of raising DECIMAL_OVERFLOW Abiertofuzz
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
ClickHouse/ClickHouse#122114 ·
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 92/100
linebender/vello_svg#90 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100