Hacktoberfest 2026: as issues que os mantenedores marcaram para outubro, abertas e boas para iniciantes. Ver issues do Hacktoberfest

Add optional catalog field to runs and dlchange topic schemas

Aberta
  • Algo errado?
#246 1 comentário 0 reações 0 responsáveis Ver no GitHub

Ninguém assumiu esta issue ainda.

Avaliação

Dificuldade
4/5
Tempo estimado
3-5 dias
Facilidade para iniciantes
56/100
Tipo de issue
Funcionalidade
Clareza
Claramente especificada
Status de atividade
Ativa
Stack de tecnologia
json, postgresql, python, yaml
Domínio
api, backend, databases

Direção de pesquisa

Start with conf/topic_schemas/runs.json and conf/topic_schemas/dlchange.json, then trace where catalog_id is persisted in the Postgres writer and database schema. Check api.yaml, related tests, documentation, and example payloads for the same field. Done when both schemas accept an optional free-form string, persistence and API handling are updated, and events without catalog remain valid.

Escrita pelo modelo de indexação a partir do texto da issue.

Descrição

enhancement
Feature Description

Add an optional catalog string field to the event bus schemas (ADR 009, V4):

  • conf/topic_schemas/runs.json: inside each jobs[] item, next to catalog_id
  • conf/topic_schemas/dlchange.json: top level, next to catalog_id

Description: "Specifies the catalog name: glue, hive, starburst, etc. Since same catalog_id can exist in multiple catalogs". Free-form string; the listed values are examples, not an enum.

Problem / Opportunity

The same catalog_id can exist in multiple catalogs (glue, hive, starburst, ...), so catalog_id alone is ambiguous for consumers, dashboards and event-based triggering.

Acceptance Criteria
  1. runs.json job items and dlchange.json accept an optional catalog string.
  2. Values are not restricted to glue/hive/starburst.
  3. Events without catalog stay valid (backward compatible); the field is not added to required.
  4. Postgres writer, DB migration, api.yaml, tests and docs handle the new field (persisted wherever catalog_id is persisted).
  5. Example payloads are updated.
Proposed Solution

Add the property to both schemas, extend the writer and add a migration (nullable column), update api.yaml and tests.

Dependencies / Related

ADR 009 - Event Bus - Run and EDLA topics (V4 proposal).

Linguagem predominante
Python
Estrelas
4
Forks
0
Merge médio
22h 3min
PRs com merge (30d)
8

Preparar o ambiente

  • Inclui um Dockerfile ou arquivo Docker Compose
  • Tem um modelo de pull request
  • Sem guia de contribuição

Primeiros passos

  1. Leia a issue inteira e depois o guia de contribuição do projeto.
  2. Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
  3. Faça um fork do repositório e trabalhe em uma branch.
  4. Abra um pull request que referencie o número da issue.

Mais de AbsaOSS/EventGate

Todas as issues de AbsaOSS/EventGate

Issues semelhantes

Mais issues de Python

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.