Document how to update spark jobs that are called from Airflow DAGs

Aperta

#17 aperta il 28/11/2023 1 commento 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà: 3/5
Tempo stimato: 1-2 giorni
Idoneità per principianti: 42/100

Tipo di issue: Documentazione
Chiarezza: Da chiarire
Stato di attività: Ferma
Stack tecnologico: kubernetes, spark
Ambito: data-engineering, devops, documentation

Direzione di ricerca

Inizia riproducendo l'aggiornamento della demo airflow dalla 23.7 alla 23.11, quindi ispeziona il DAG esistente, il relativo Spark job con wrapper e la config map contenente la definizione del job. Documenta la procedura necessaria per aggiornare lo Spark job quando questa config map cambia, incluso come verificare che il DAG utilizzi la nuova definizione.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

When upgrading the airflow demo from 23.7 to 23.11 the spark job wrapped by an existing DAG is not updated if the config map containing its definition is changed. This should be investigated and documented as to how to do this.

Lingua principale: Jupyter Notebook
Stelle: 3
Fork: 13
Merge medio: 2g 20h
PR unite (30g): 2

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Come iniziare

Leggi tutta la issue e poi la guida ai contributi del progetto.
Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
Fai un fork del repository e lavora su un branch.
Apri una pull request che faccia riferimento al numero della issue.

Altre issue di stackabletech/demos

New sales demo / restructure existing demos Aperta

Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100

stackabletech/demos#402 · Aperta il 27/5/2026
docs(argo-cd-git-ops): Document how Stackable operator or product updates work Aperta

Difficoltà 3/5 1-2 giorni Idoneità per principianti 45/100

stackabletech/demos#349 · Aperta il 12/1/2026
Extend ArgoCD GitOps demo with DataOps Aperta

Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100

stackabletech/demos#293 · Aperta il 8/8/2025
⏲ Add initContainers to jobs to wait for dependencies instead of crashing (demos) Aperta

release-retro/25.3.0

Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

stackabletech/demos#208 · Aperta il 24/4/2025
Add parameter for mapbox api key to demos containing superset Aperta

Difficoltà 3/5 1-2 giorni Idoneità per principianti 45/100

stackabletech/demos#204 · Aperta il 10/4/2025

Tutte le issue di stackabletech/demos

Issue simili

[bug][accuracy] Quebec 2023 and 2024 tax-year data leave senior, HSF, RAMQ and work-premium parameters at 0.0, so the age/retirement credit, senior assistance, individual HSF and drug premium come out as $0 without any error Aperta

Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100

elecnix/lifedraft#351 · Aperta il 24/9/2026
Add: Arena Sport Premium M3 Aperta

channels:add check:passed

Difficoltà 1/5 Meno di un'ora Idoneità per principianti 90/100

iptv-org/database#36064 · Aperta il 24/9/2026
Never show a hidden value in the data entry app Aperta

Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100

avniproject/avni-webapp#1811 · Aperta il 24/9/2026
İnceleme kuyruğu / Review queue — 2026-09-24 Aperta

inceleme-kuyrugu

Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100

Greater-Turkiye/platform#114 · Aperta il 24/9/2026
safe_download does not extract .tar.xz / .tar.bz2 dataset archives — check_det_dataset fails with a misleading "Not a YAML file" error Aperta

bug triage

Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100

ultralytics/ultralytics#26305 · 1 commento · Aperta il 24/9/2026

Altre issue su Data Engineering