Performance improvement on persist_docs

Aperta
  • Qualcosa non va?
#507 14 commenti 5 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 6 giorni

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
35/100
Tipo di issue
Funzionalità
Chiarezza
Abbastanza chiara
Stato di attività
Ferma
Stack tecnologico
python, sql
Ambito
databases, performance

Direzione di ricerca

Non vengono indicati file o test. Inizia individuando l’entry point persist_docs e tracciando il modo in cui i commenti delle colonne diventano singole istruzioni ALTER TABLE; confronta le opzioni create-table e REST API descritte nell’issue. Il lavoro è completato quando persist_docs gestisce progetti di grandi dimensioni senza un’istruzione per colonna, con una copertura del comportamento modificato e un benchmark o un controllo di regressione.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

blocked enhancement
Describe the feature

persist_docs currently sends an individual alter table statement per column comment. This takes forever for a large project.

Describe alternatives you've considered

Don't use persist_docs and instead parse the comments from dbt model and use unity catalog rest api
Don't use persist_docs and instead parse the comments from dbt model and generate my own custom statements
Don't use dbt comments at all and instead use unity catalog rest api to AI generate comments and persist those
Most alternatives involve not using persist_docs or not using column level comments

Additional context

We have the ability to add column level comments at the create table step and through the rest api, individual alter statements are the worst alternative.

persist_docs performance issue

Who will this benefit?

Everyone using persist_docs that has more than a couple models with column level comments.

Are you interested in contributing this feature?

Not at this time.

Lingua principale
Python
Stelle
391
Fork
231
Merge medio
9g 7h
PR unite (30g)
29

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di databricks/dbt-databricks

Tutte le issue di databricks/dbt-databricks

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.