Support Delta connector
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 35/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- kubernetes
- Lĩnh vực
- infrastructure
Hướng nghiên cứu
Bắt đầu với tài liệu về Trino Delta connector và cấu hình TrinoCatalog, ConfigMap, podOverrides và initContainers được mô tả trong issue. Xác định cách hỗ trợ các thuộc tính Delta mà không thay thế các tệp catalog được tạo tự động, và coi công việc là hoàn tất khi có thể cấu hình các bảng Delta mà không cần workaround được tài liệu hóa.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Docs: https://trino.io/docs/current/connector/delta-lake.html
I was able to setup a delta connector with the following workaround 👇🏻 :
- Established a TrinoCatalog using Hive as the connector to add S3 connection capabilities, necessary for accessing Delta tables stored in S3.
apiVersion: trino.stackable.tech/v1alpha1
kind: TrinoCatalog
metadata:
name: hive
namespace: infrastructure
labels:
trino: trino
spec:
connector:
hive:
metastore:
configMap: hive
s3:
reference: spark-s3-connection
configOverrides:
hive.metastore.username: delta
This allows me to add the s3 connection capabilities.
- Configured a ConfigMap named trino-delta-properties with settings for the Delta connector. This configuration mirrors the Hive setup but excludes hive.security=allow-all due to compatibility issues. It also introduces a Delta-specific setting to enable table registration from S3 storage.
apiVersion: v1
kind: ConfigMap
metadata:
name: trino-delta-properties
namespace: infrastructure
data:
delta.properties: |
connector.name=delta_lake
hive.metastore.uri=thrift://hive.default.svc.cluster.local:9083
hive.metastore.username=delta
hive.s3.aws-access-key=${ENV:CATALOG_HIVE_HIVE_S3_AWS_ACCESS_KEY}
hive.s3.aws-secret-key=${ENV:CATALOG_HIVE_HIVE_S3_AWS_SECRET_KEY}
hive.s3.endpoint=http://s3
hive.s3.path-style-access=true
hive.s3.ssl.enabled=false
delta.register-table-procedure.enabled=true
this configuration has an additional parameter
delta.register-table-procedure.enabled=trueas it'srequired in order to register delta tables that are already in the s3 object storage.
- Adjusted
podOverridesfor both worker and coordinator to mount theConfigMap. However, this method replaces the entire/stackable/config/catalogdirectory, inadvertently removing thehive.propertiesfile generated byTrinoCatalog. While sufficient for some scenarios, this approach may not cater to all use cases due to its overriding behavior.
Alternatively use
initContainersto inject the Delta connector properties into the existing configuration directory without overwriting existing configurations.
podOverrides:
spec:
containers:
- name: trino
volumeMounts:
- name: delta-properties
mountPath: /stackable/config/catalog
volumes:
- name: access-control-properties
configMap:
- name: delta-properties
configMap:
name: trino-delta-properties
roleGroups:
default:
replicas: 1
- Ngôn ngữ chính
- Rust
- Star
- 63
- Fork
- 13
- Merge trung bình
- 1 ngày 20 giờ
- Pull request đã merge (30 ngày)
- 12
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của stackabletech/trino-operator
-
customer-request
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 60/100
stackabletech/trino-operator#499 ·
-
type/bug
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 45/100
stackabletech/trino-operator#936 · 3 bình luận ·
-
release-note
stackabletech/trino-operator#854 · 3 bình luận · 1 người được giao ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 45/100
stackabletech/trino-operator#849 ·
-
customer-request type/feature-improvement
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 35/100
stackabletech/trino-operator#813 · 1 bình luận ·
Tất cả issue của stackabletech/trino-operator
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
TheLarkInn/aipm#2413 ·
-
documentation
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 90/100
alexgorbatchev/simple-ptt#15 ·
-
tooling
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
-
todo:ticket
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
taikoxyz/taiko-mono#22168 · 1 bình luận ·