Performance improvement on persist_docs

Đang mở
  • Có gì không ổn?
#507 14 bình luận 5 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 6 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
35/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Đình trệ
Công nghệ
python, sql
Lĩnh vực
databases, performance

Hướng nghiên cứu

Không có tệp hoặc bài kiểm thử nào được nêu tên. Hãy bắt đầu bằng cách tìm entry point persist_docs và theo dõi cách các chú thích cột trở thành từng câu lệnh ALTER TABLE riêng lẻ; so sánh các tùy chọn create-table và REST API được mô tả trong issue. Công việc được xem là hoàn tất khi persist_docs xử lý được các dự án lớn mà không cần một câu lệnh cho mỗi cột, có độ bao phủ cho hành vi đã thay đổi cùng với benchmark hoặc kiểm tra hồi quy.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

blocked enhancement
Describe the feature

persist_docs currently sends an individual alter table statement per column comment. This takes forever for a large project.

Describe alternatives you've considered

Don't use persist_docs and instead parse the comments from dbt model and use unity catalog rest api
Don't use persist_docs and instead parse the comments from dbt model and generate my own custom statements
Don't use dbt comments at all and instead use unity catalog rest api to AI generate comments and persist those
Most alternatives involve not using persist_docs or not using column level comments

Additional context

We have the ability to add column level comments at the create table step and through the rest api, individual alter statements are the worst alternative.

persist_docs performance issue

Who will this benefit?

Everyone using persist_docs that has more than a couple models with column level comments.

Are you interested in contributing this feature?

Not at this time.

Ngôn ngữ chính
Python
Star
391
Fork
231
Merge trung bình
9 ngày 7 giờ
Pull request đã merge (30 ngày)
29

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của databricks/dbt-databricks

Tất cả issue của databricks/dbt-databricks

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.