AbsaOSS/pramen

Vedi su GitHub

Resilient data pipeline framework running on Apache Spark

Stelle: 31
Fork: 4
Issue aperte per principianti: 0
Issue indicizzate: 41
Merge medio: 1g 53m
PR unite (30g): 7

Lingua principale: Scala
Licenza: Apache-2.0
Ultimo push su GitHub: 17/9/2026
Ultima indicizzazione: 13/9/2026
Guida per i contributori: Nessuna guida per i contributori
Codice di condotta: Nessun codice di condotta
Label per principianti: help wanted

Adatte ai principianti Tutto

Aperta Tutte

Add support for Spark 4 Aperta

enhancement

Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100

AbsaOSS/pramen#800 · Aperta il 23/9/2026
Add information on file pattern used when raw file source can't find input files Aperta

enhancement

Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100

AbsaOSS/pramen#798 · Aperta il 22/9/2026
Add thread status after each task is finished so parallel jobs are easier to track Aperta

DS enhancement

Difficoltà 3/5 1-2 giorni Idoneità per principianti 58/100

AbsaOSS/pramen#796 · Aperta il 18/9/2026
Add a parallelism mode that allows parallel job runs but never the same job for different info dates Aperta

enhancement

Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100

AbsaOSS/pramen#759 · Aperta il 25/5/2026
Jdbc Count doesn't use additional options from JDBC config Aperta

bug

Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

AbsaOSS/pramen#758 · Aperta il 22/5/2026
Add timeout based on expected execution time of JDBC ingestion Aperta

enhancement

Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100

AbsaOSS/pramen#732 · Aperta il 7/4/2026
Add ability to track number of records deviation and report it as warnings in email notifications Aperta

enhancement

Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100

AbsaOSS/pramen#729 · Aperta il 27/3/2026
Update Spark in PySpark to use newer Spark stubs Aperta

enhancement

Difficoltà 2/5 1-3 ore Idoneità per principianti 45/100

AbsaOSS/pramen#653 · Aperta il 29/10/2025
Consolidate bookkeeping entries for incremental jobs Aperta

enhancement

Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

AbsaOSS/pramen#651 · Aperta il 23/10/2025
Migrate to the new SonaType platform Aperta

enhancement

Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

AbsaOSS/pramen#618 · Aperta il 6/8/2025
Make sure `disable.count.query = true` does not change the behavior of ingestion Aperta

arguable enhancement

Difficoltà 4/5 3-5 giorni Idoneità per principianti 38/100

AbsaOSS/pramen#539 · 1 commento · Aperta il 13/1/2025
Allow sinks not to have input tables, only table dependencies Aperta

arguable enhancement

Difficoltà 5/5 Più di una settimana Idoneità per principianti 18/100

AbsaOSS/pramen#525 · Aperta il 10/12/2024
Remove the limit of the incremental ingestion of files so that files can arrive out of order Aperta

enhancement

Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100

AbsaOSS/pramen#522 · Aperta il 28/11/2024
Include tenant name in email notifications, if defined Aperta

arguable enhancement

Difficoltà 3/5 1-2 giorni Idoneità per principianti 45/100

AbsaOSS/pramen#505 · Aperta il 22/10/2024
Add a way to route different issues to different email lists Aperta

DE enhancement Pramen-Scala

Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100

AbsaOSS/pramen#481 · Aperta il 2/9/2024
Make embedded MongoDb tests runnable on MacOs/AppleSilicon and Windows Aperta

enhancement Pramen-Scala

Difficoltà 3/5 1-2 giorni Idoneità per principianti 42/100

AbsaOSS/pramen#435 · Aperta il 12/7/2024
Add the ability to have metastore partitioning column as a string, not a date Aperta

DS enhancement Pramen-Scala

Difficoltà 3/5 1-2 giorni Idoneità per principianti 48/100

AbsaOSS/pramen#424 · Aperta il 7/6/2024
A Hive table fails to load if a custom schema is used. Aperta

bug DS Pramen-Scala

Difficoltà 4/5 3-5 giorni Idoneità per principianti 42/100

AbsaOSS/pramen#398 · Aperta il 30/4/2024
Improve unit test coverage of ResultSetToRowIterator.scala Aperta

enhancement Pramen-Scala Refactoring

Difficoltà 3/5 1-2 giorni Idoneità per principianti 35/100

AbsaOSS/pramen#379 · Aperta il 20/3/2024
Create a CDC transformer Aperta

DE enhancement Pramen-Scala

Difficoltà 5/5 Più di una settimana Idoneità per principianti 20/100

AbsaOSS/pramen#365 · Aperta il 26/2/2024
Add an ability to format info date and insert date expression into JDBC SQL queries Aperta

DS enhancement Pramen-Scala

Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100

AbsaOSS/pramen#360 · Aperta il 19/2/2024
Add a mode for initial ingestion of event data Aperta

DE enhancement Pramen-Scala

Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100

AbsaOSS/pramen#350 · Aperta il 2/2/2024
Calculate and log stability metric for each operation Aperta

enhancement Pramen-Scala

Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

AbsaOSS/pramen#337 · Aperta il 11/1/2024
Add 'pramen-test' artifact that contains fixtures for testing Pramen components Aperta

enhancement Pramen-Scala

Difficoltà 3/5 1-2 giorni Idoneità per principianti 45/100

AbsaOSS/pramen#335 · Aperta il 10/1/2024
Pramen pipelines sometimes hang when parallel.tasks > 1 Aperta

bug might be fixed already Pramen-Scala

Difficoltà 5/5 Più di una settimana Idoneità per principianti 20/100

AbsaOSS/pramen#302 · Aperta il 23/11/2023
Add an option to not track late data for a table Aperta

enhancement Pramen-Scala

Difficoltà 4/5 3-5 giorni Idoneità per principianti 38/100

AbsaOSS/pramen#282 · Aperta il 7/11/2023
Improve error messages for EnceladusSink errors Aperta

DE enhancement Pramen-Scala

Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100

AbsaOSS/pramen#240 · 1 assegnatario · Aperta il 31/8/2023
Stateful data checks for ingestion and other types of jobs Aperta

DE DS enhancement Pramen-Scala

Difficoltà 5/5 Più di una settimana Idoneità per principianti 18/100

AbsaOSS/pramen#220 · 2 commenti · Aperta il 8/7/2023
Remove security vulnerabilities if possible Aperta

DE DS enhancement

Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

AbsaOSS/pramen#215 · 2 commenti · 1 assegnatario · Aperta il 20/6/2023
Allow sources to be configured as 'always have data' Aperta

enhancement Pramen-Scala

Difficoltà 4/5 3-5 giorni Idoneità per principianti 30/100

AbsaOSS/pramen#184 · Aperta il 4/4/2023
Some tests are in the 'tests' package where package private functions cannot be tested Aperta

bug

Difficoltà 3/5 1-2 giorni Idoneità per principianti 35/100

AbsaOSS/pramen#157 · Aperta il 10/2/2023
Test coverage changes tracking Aperta

question

Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100

AbsaOSS/pramen#144 · Aperta il 27/1/2023
Add a metastore method that returns all available tables Aperta

enhancement Pramen-Py Pramen-Scala

Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100

AbsaOSS/pramen#133 · 1 commento · Aperta il 17/1/2023
Allow storing the metastore configuration on Hadoop (HDFS, S3, etc) Aperta

enhancement Pramen-Scala

Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100

AbsaOSS/pramen#121 · Aperta il 10/1/2023
Maximum days late data load Aperta

enhancement Pramen-Scala

Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100

AbsaOSS/pramen#120 · 1 reazione · 1 assegnatario · Aperta il 10/1/2023
Make sure CI/CD includes Python 3.6 Aperta

bug CI/CD

Difficoltà 2/5 1-3 ore Idoneità per principianti 35/100

AbsaOSS/pramen#89 · Aperta il 1/12/2022
Fail the full pipeline on certain types of exceptions Aperta

enhancement Pramen-Scala

Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

AbsaOSS/pramen#87 · Aperta il 1/12/2022
move from poetry to pdm Aperta

Pramen-Py

Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100

AbsaOSS/pramen#41 · Aperta il 6/10/2022
Allow specifying Spark resources per Python-Py Transformer Aperta

enhancement help wanted Pramen-Py

Difficoltà 3/5 1-2 giorni Idoneità per principianti 45/100

AbsaOSS/pramen#36 · 1 reazione · Aperta il 14/9/2022

AbsaOSS/pramen

Ricevi le nuove issue nella tua casella