Allow auto-detection of table format for metastore tables

Aperta
  • Qualcosa non va?
#825 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
52/100
Tipo di issue
Funzionalità
Chiarezza
Abbastanza chiara
Stato di attività
Attiva
Stack tecnologico
scala
Ambito
data-engineering, databases

Direzione di ricerca

Start by locating the metastore table configuration and the code that selects a writer for metastore tables; the issue does not name specific files or tests. Check how the configured format and target path are currently used. Done means new tables use the first listed format by default, while existing target paths are detected as Iceberg or Parquet and written with the matching writer.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

enhancement

Background

Currently, Pramen writes to a metastore table according to the settings in the workflow config.

This feature would allow detecting the table format and sepecting teh appropriate writer

Feature

Allow auto-detection of table format for metastore tables.

Example [Optional]

pramen.metastore {
  tables = [
    {
      name = "table1"
      format = "iceberg,parquet"
      table = "iceberg_catalog.my_db.my_table"
      path = "s3://mybucket/mydb/mytable"
    }
  ]
}

^ The algorithm as follows:

  • When creating a new table it will be iceberg by default.
  • If data already exists at the target path, Pramen should detect if it is an iceberg or parquet table and write accordingly
pramen.metastore {
  tables = [
    {
      name = "table2"
      format = "parquet,iceberg"
      table = "iceberg_catalog.my_db.my_table"
      path = "s3://mybucket/mydb/mytable"
    }
  ]
}

^ Same as the first example, but the default format is parquet

Proposed Solution [Optional]

--

Lingua principale
Scala
Stelle
33
Fork
5
Merge medio
4h 46m
PR unite (30g)
7

Preparare l'ambiente

  • Nessun Dockerfile né file Docker Compose
  • Ha un modello di pull request
  • Nessuna guida per i contributori

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di AbsaOSS/pramen

Tutte le issue di AbsaOSS/pramen

Issue simili

Altre issue su Scala

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.