Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Support Delta connector

Đang mở
#538 2 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
35/100
Loại issue
Tính năng
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Đình trệ
Công nghệ
kubernetes
Lĩnh vực
infrastructure

Hướng nghiên cứu

Bắt đầu với tài liệu về Trino Delta connector và cấu hình TrinoCatalog, ConfigMap, podOverrides và initContainers được mô tả trong issue. Xác định cách hỗ trợ các thuộc tính Delta mà không thay thế các tệp catalog được tạo tự động, và coi công việc là hoàn tất khi có thể cấu hình các bảng Delta mà không cần workaround được tài liệu hóa.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Docs: https://trino.io/docs/current/connector/delta-lake.html

I was able to setup a delta connector with the following workaround 👇🏻 :

  1. Established a TrinoCatalog using Hive as the connector to add S3 connection capabilities, necessary for accessing Delta tables stored in S3.
apiVersion: trino.stackable.tech/v1alpha1
kind: TrinoCatalog
metadata:
  name: hive
  namespace: infrastructure
  labels:
    trino: trino
spec:
  connector:
    hive:
      metastore:
        configMap: hive
      s3:
        reference: spark-s3-connection
  configOverrides:
    hive.metastore.username: delta

This allows me to add the s3 connection capabilities.

  1. Configured a ConfigMap named trino-delta-properties with settings for the Delta connector. This configuration mirrors the Hive setup but excludes hive.security=allow-all due to compatibility issues. It also introduces a Delta-specific setting to enable table registration from S3 storage.
apiVersion: v1
kind: ConfigMap
metadata:
  name: trino-delta-properties
  namespace: infrastructure
data:
  delta.properties: |
    connector.name=delta_lake
    hive.metastore.uri=thrift://hive.default.svc.cluster.local:9083
    hive.metastore.username=delta
    hive.s3.aws-access-key=${ENV:CATALOG_HIVE_HIVE_S3_AWS_ACCESS_KEY}
    hive.s3.aws-secret-key=${ENV:CATALOG_HIVE_HIVE_S3_AWS_SECRET_KEY}
    hive.s3.endpoint=http://s3
    hive.s3.path-style-access=true
    hive.s3.ssl.enabled=false
    delta.register-table-procedure.enabled=true

this configuration has an additional parameter delta.register-table-procedure.enabled=true as it'srequired in order to register delta tables that are already in the s3 object storage.

  1. Adjusted podOverrides for both worker and coordinator to mount the ConfigMap. However, this method replaces the entire /stackable/config/catalog directory, inadvertently removing the hive.properties file generated by TrinoCatalog. While sufficient for some scenarios, this approach may not cater to all use cases due to its overriding behavior.

Alternatively use initContainers to inject the Delta connector properties into the existing configuration directory without overwriting existing configurations.

podOverrides:
     spec:
        containers:
        - name: trino
           volumeMounts:
           - name: delta-properties
             mountPath: /stackable/config/catalog
        volumes:
        - name: access-control-properties
          configMap:
          - name: delta-properties
             configMap:
               name: trino-delta-properties
    roleGroups:
      default:
        replicas: 1
Ngôn ngữ chính
Rust
Star
63
Fork
13
Merge trung bình
1 ngày 20 giờ
Pull request đã merge (30 ngày)
12

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của stackabletech/trino-operator

Tất cả issue của stackabletech/trino-operator

Issue tương tự

Thêm issue về Rust

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.