AbsaOSS/pramen

在 GitHub 查看

Resilient data pipeline framework running on Apache Spark

星标: 31
派生: 4
开放的新手 issue: 0
已索引 issue: 41
平均合并: 16 小时 7 分钟
30 天内合并 PR: 11

主要语言: Scala
许可证: Apache-2.0
最近 GitHub push: 2026年9月17日
最近索引: 2026年9月13日
贡献指南: 没有贡献指南
行为准则: 没有行为准则
新手标签: help wanted

适合新手全部

未关闭全部

Add a parallelism mode that allows parallel job runs but never the same job for different info dates 未关闭

enhancement

难度 4/5 3-5 天新手友好度 45/100

AbsaOSS/pramen#759 · 2026年5月25日创建
Jdbc Count doesn't use additional options from JDBC config 未关闭

bug

难度 4/5 3-5 天新手友好度 35/100

AbsaOSS/pramen#758 · 2026年5月22日创建
Add timeout based on expected execution time of JDBC ingestion 未关闭

enhancement

难度 5/5 一周以上新手友好度 35/100

AbsaOSS/pramen#732 · 2026年4月7日创建
Add ability to track number of records deviation and report it as warnings in email notifications 未关闭

enhancement

难度 5/5 一周以上新手友好度 35/100

AbsaOSS/pramen#729 · 2026年3月27日创建
Update Spark in PySpark to use newer Spark stubs 未关闭

enhancement

难度 2/5 1-3 小时新手友好度 45/100

AbsaOSS/pramen#653 · 2025年10月29日创建
Consolidate bookkeeping entries for incremental jobs 未关闭

enhancement

难度 4/5 3-5 天新手友好度 35/100

AbsaOSS/pramen#651 · 2025年10月23日创建
Migrate to the new SonaType platform 未关闭

enhancement

难度 4/5 3-5 天新手友好度 35/100

AbsaOSS/pramen#618 · 2025年8月6日创建
Make sure `disable.count.query = true` does not change the behavior of ingestion 未关闭

arguable enhancement

难度 4/5 3-5 天新手友好度 38/100

AbsaOSS/pramen#539 · 1 条评论 · 2025年1月13日创建
Allow sinks not to have input tables, only table dependencies 未关闭

arguable enhancement

难度 5/5 一周以上新手友好度 18/100

AbsaOSS/pramen#525 · 2024年12月10日创建
Remove the limit of the incremental ingestion of files so that files can arrive out of order 未关闭

enhancement

难度 5/5 一周以上新手友好度 35/100

AbsaOSS/pramen#522 · 2024年11月28日创建
Include tenant name in email notifications, if defined 未关闭

arguable enhancement

难度 3/5 1-2 天新手友好度 45/100

AbsaOSS/pramen#505 · 2024年10月22日创建
Add a way to route different issues to different email lists 未关闭

DE enhancement Pramen-Scala

难度 5/5 一周以上新手友好度 25/100

AbsaOSS/pramen#481 · 2024年9月2日创建
Make embedded MongoDb tests runnable on MacOs/AppleSilicon and Windows 未关闭

enhancement Pramen-Scala

难度 3/5 1-2 天新手友好度 42/100

AbsaOSS/pramen#435 · 2024年7月12日创建
Add the ability to have metastore partitioning column as a string, not a date 未关闭

DS enhancement Pramen-Scala

难度 3/5 1-2 天新手友好度 48/100

AbsaOSS/pramen#424 · 2024年6月7日创建
A Hive table fails to load if a custom schema is used. 未关闭

bug DS Pramen-Scala

难度 4/5 3-5 天新手友好度 42/100

AbsaOSS/pramen#398 · 2024年4月30日创建
Improve unit test coverage of ResultSetToRowIterator.scala 未关闭

enhancement Pramen-Scala Refactoring

难度 3/5 1-2 天新手友好度 35/100

AbsaOSS/pramen#379 · 2024年3月20日创建
Create a CDC transformer 未关闭

DE enhancement Pramen-Scala

难度 5/5 一周以上新手友好度 20/100

AbsaOSS/pramen#365 · 2024年2月26日创建
Add an ability to format info date and insert date expression into JDBC SQL queries 未关闭

DS enhancement Pramen-Scala

难度 5/5 一周以上新手友好度 35/100

AbsaOSS/pramen#360 · 2024年2月19日创建
Add a mode for initial ingestion of event data 未关闭

DE enhancement Pramen-Scala

难度 5/5 一周以上新手友好度 25/100

AbsaOSS/pramen#350 · 2024年2月2日创建
Calculate and log stability metric for each operation 未关闭

enhancement Pramen-Scala

难度 4/5 3-5 天新手友好度 35/100

AbsaOSS/pramen#337 · 2024年1月11日创建
Add 'pramen-test' artifact that contains fixtures for testing Pramen components 未关闭

enhancement Pramen-Scala

难度 3/5 1-2 天新手友好度 45/100

AbsaOSS/pramen#335 · 2024年1月10日创建
Pramen pipelines sometimes hang when parallel.tasks > 1 未关闭

bug might be fixed already Pramen-Scala

难度 5/5 一周以上新手友好度 20/100

AbsaOSS/pramen#302 · 2023年11月23日创建
Add an option to not track late data for a table 未关闭

enhancement Pramen-Scala

难度 4/5 3-5 天新手友好度 38/100

AbsaOSS/pramen#282 · 2023年11月7日创建
Improve error messages for EnceladusSink errors 未关闭

DE enhancement Pramen-Scala

难度 4/5 3-5 天新手友好度 25/100

AbsaOSS/pramen#240 · 已指派 1 人 · 2023年8月31日创建
Stateful data checks for ingestion and other types of jobs 未关闭

DE DS enhancement Pramen-Scala

难度 5/5 一周以上新手友好度 18/100

AbsaOSS/pramen#220 · 2 条评论 · 2023年7月8日创建
Remove security vulnerabilities if possible 未关闭

DE DS enhancement

难度 4/5 3-5 天新手友好度 35/100

AbsaOSS/pramen#215 · 2 条评论 · 已指派 1 人 · 2023年6月20日创建
Allow sources to be configured as 'always have data' 未关闭

enhancement Pramen-Scala

难度 4/5 3-5 天新手友好度 30/100

AbsaOSS/pramen#184 · 2023年4月4日创建
Some tests are in the 'tests' package where package private functions cannot be tested 未关闭

bug

难度 3/5 1-2 天新手友好度 35/100

AbsaOSS/pramen#157 · 2023年2月10日创建
Test coverage changes tracking 未关闭

question

难度 5/5 一周以上新手友好度 25/100

AbsaOSS/pramen#144 · 2023年1月27日创建
Add a metastore method that returns all available tables 未关闭

enhancement Pramen-Py Pramen-Scala

难度 5/5 一周以上新手友好度 25/100

AbsaOSS/pramen#133 · 1 条评论 · 2023年1月17日创建
Allow storing the metastore configuration on Hadoop (HDFS, S3, etc) 未关闭

enhancement Pramen-Scala

难度 5/5 一周以上新手友好度 25/100

AbsaOSS/pramen#121 · 2023年1月10日创建
Maximum days late data load 未关闭

enhancement Pramen-Scala

难度 4/5 3-5 天新手友好度 25/100

AbsaOSS/pramen#120 · 1 个 reaction · 已指派 1 人 · 2023年1月10日创建
Make sure CI/CD includes Python 3.6 未关闭

bug CI/CD

难度 2/5 1-3 小时新手友好度 35/100

AbsaOSS/pramen#89 · 2022年12月1日创建
Fail the full pipeline on certain types of exceptions 未关闭

enhancement Pramen-Scala

难度 4/5 3-5 天新手友好度 35/100

AbsaOSS/pramen#87 · 2022年12月1日创建
move from poetry to pdm 未关闭

Pramen-Py

难度 4/5 3-5 天新手友好度 35/100

AbsaOSS/pramen#41 · 2022年10月6日创建
Allow specifying Spark resources per Python-Py Transformer 未关闭

enhancement help wanted Pramen-Py

难度 3/5 1-2 天新手友好度 45/100

AbsaOSS/pramen#36 · 1 个 reaction · 2022年9月14日创建

AbsaOSS/pramen

把新 issue 发到你的邮箱