Schema-Grants need to run before pipeline deployment
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 52/100
Hướng nghiên cứu
Bắt đầu bằng cách tái hiện deployment DAB từ Azure Databricks Workspace và kiểm tra bundle.tf.json được tạo ra, đặc biệt là resources.schemas.src grants và resources.pipelines.load. Theo dõi cách các tài nguyên này được sắp xếp trong quá trình deployment; công việc được xem là hoàn tất khi các schema grants được áp dụng trước khi tạo pipeline, để lần deploy đầu tiên thành công mà không cần chạy lại.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Describe the issue
My DAB contains:
- Schema
- Grants on the schema for the SP used by pipeline
- Lakeflow Declarative Pipeline
Occasionally the DAB deploy will fail with the following message:
Error: cannot create pipeline: User does not have CREATE TABLE on Schema 'CATALOG_NAME.*'.
with databricks_pipeline.load,
on bundle.tf.json line 5326, in resource.databricks_pipeline.load:
Rerunning the deploy typically succeeds, as the schema permissions will have been granted.
Configuration
resources:
schemas:
src:
catalog_name: ${var.CATALOG}
name: src
grants:
- principal: ${var.SP}
privileges:
- CREATE_TABLE
- CREATE_MATERIALIZED_VIEW
pipelines:
load:
name: load
catalog: ${resources.schemas.src.catalog_name}
schema: ${resources.schemas.src.name}
serverless: true
event_log:
catalog: ${resources.schemas.src.catalog_name}
schema: ${resources.schemas.src.name}
name: pipeline_log
root_path: [...]
libraries:
- glob:
include: [...]
run_as:
service_principal_name: ${var.SP}
OS and CLI version
Dab deploy from the Azure Databricks Workspace.
- Ngôn ngữ chính
- Go
- Star
- 396
- Fork
- 233
- Merge trung bình
- 2 ngày 52 phút
- Pull request đã merge (30 ngày)
- 276
Hướng dẫn đóng góp
Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của databricks/cli
-
DABs
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
databricks/cli#6670 ·
-
DABs PyDABs
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
databricks/cli#3926 · 4 bình luận ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 68/100
databricks/cli#6786 ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 45/100
databricks/cli#6785 · 1 bình luận ·
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 45/100
databricks/cli#6770 ·
Tất cả issue của databricks/cli
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
bazel-contrib/rules_go#4726 · 1 bình luận ·
-
area/auto-scaling area/monitoring area/ops-productivity kind/enhancement
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 74/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
-
Type/Improvement
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 90/100
OpenNSW/nsw-srilanka#522 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 92/100