Postponed execution events linking
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 18/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Da chiarire
- Stato di attività
- Ferma
- Stack tecnologico
- scala, spark
- Ambito
- data-engineering, performance
Direzione di ricerca
L’issue non indica file né test. Inizia individuando le parti di Spline che elaborano gli eventi di esecuzione e costruiscono il grafo globale di lineage, quindi traccia come vengono individuate le esecuzioni interessate oltre i confini dei piani di esecuzione. Il lavoro sarà completo quando esisteranno un design e un’implementazione per il collegamento ritardato o basato su finestre temporali delle esecuzioni predecessore, evitando ordinamenti e raggruppamenti ripetuti a ogni confine.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
When building a global lineage we need to traverse the graph through the boundary of many execution plans, from the affected executions to their predecessors and so forth. For the performance reasons (since an execution plan can be a super node), it's good to avoid looking up the affected executions by sorting and grouping at the boundary of every execution plan, but instead to have them linked directly.
Since the graph is built continuously and asynchronously, at the time of processing a new execution event we don't know if all its predecessors have arrived and processed already. So we cannot build the static links between them immediately. Instead we could do it in time windows, long enough to accommodate any reasonable time delays in the events arrival (once an hour / a day).
- Lingua principale
- Scala
- Stelle
- 668
- Fork
- 154
- Merge medio
- 4g 20h
- PR unite (30g)
- 1
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di AbsaOSS/spline
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 28/100
-
feature
Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100
-
More integration tests for Import/Export featureForse di nuovo libera @wajda l’ha presa 464 giorni fa e non c’è nessuna pull request aperta. ApertaTech debt
Difficoltà 3/5 1-2 giorni Idoneità per principianti 20/100
-
feature
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
-
DB :: optimize indicesApertascaling / performance
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
Tutte le issue di AbsaOSS/spline
Issue simili
-
Difficoltà 1/5 1-3 ore Idoneità per principianti 91/100
com-vitthalmirji/toon4s#117 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
zio/zio-blocks#1780 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
digital-asset/participant-query-store#168 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
propensive/soundness#2294 ·
I maintainer di solito rispondono entro 1 giorno