AbsaOSS/pramen

GitHub で見る

Resilient data pipeline framework running on Apache Spark

スター: 31
フォーク: 4
オープンの初心者向け issue: 0
索引済み issue: 41
平均マージ: 1日 53分
マージ済み PR（30日）: 7

主要言語: Scala
ライセンス: Apache-2.0
最終 GitHub push: 2026年9月17日
最新の索引: 2026年9月13日
コントリビューションガイド: コントリビューションガイドがありません
行動規範: 行動規範がありません
初心者向けラベル: help wanted

初心者向けすべて

オープンすべて

Add support for Spark 4 オープン

enhancement

難易度 4/5 3〜5日初心者へのやさしさ 45/100

AbsaOSS/pramen#800 · 2026年9月23日に作成
Add information on file pattern used when raw file source can't find input files オープン

enhancement

難易度 2/5 1〜3時間初心者へのやさしさ 65/100

AbsaOSS/pramen#798 · 2026年9月22日に作成
Add thread status after each task is finished so parallel jobs are easier to track オープン

DS enhancement

難易度 3/5 1〜2日初心者へのやさしさ 58/100

AbsaOSS/pramen#796 · 2026年9月18日に作成
Add a parallelism mode that allows parallel job runs but never the same job for different info dates オープン

enhancement

難易度 4/5 3〜5日初心者へのやさしさ 45/100

AbsaOSS/pramen#759 · 2026年5月25日に作成
Jdbc Count doesn't use additional options from JDBC config オープン

bug

難易度 4/5 3〜5日初心者へのやさしさ 35/100

AbsaOSS/pramen#758 · 2026年5月22日に作成
Add timeout based on expected execution time of JDBC ingestion オープン

enhancement

難易度 5/5 1週間以上初心者へのやさしさ 35/100

AbsaOSS/pramen#732 · 2026年4月7日に作成
Add ability to track number of records deviation and report it as warnings in email notifications オープン

enhancement

難易度 5/5 1週間以上初心者へのやさしさ 35/100

AbsaOSS/pramen#729 · 2026年3月27日に作成
Update Spark in PySpark to use newer Spark stubs オープン

enhancement

難易度 2/5 1〜3時間初心者へのやさしさ 45/100

AbsaOSS/pramen#653 · 2025年10月29日に作成
Consolidate bookkeeping entries for incremental jobs オープン

enhancement

難易度 4/5 3〜5日初心者へのやさしさ 35/100

AbsaOSS/pramen#651 · 2025年10月23日に作成
Migrate to the new SonaType platform オープン

enhancement

難易度 4/5 3〜5日初心者へのやさしさ 35/100

AbsaOSS/pramen#618 · 2025年8月6日に作成
Make sure `disable.count.query = true` does not change the behavior of ingestion オープン

arguable enhancement

難易度 4/5 3〜5日初心者へのやさしさ 38/100

AbsaOSS/pramen#539 · コメント 1 件 · 2025年1月13日に作成
Allow sinks not to have input tables, only table dependencies オープン

arguable enhancement

難易度 5/5 1週間以上初心者へのやさしさ 18/100

AbsaOSS/pramen#525 · 2024年12月10日に作成
Remove the limit of the incremental ingestion of files so that files can arrive out of order オープン

enhancement

難易度 5/5 1週間以上初心者へのやさしさ 35/100

AbsaOSS/pramen#522 · 2024年11月28日に作成
Include tenant name in email notifications, if defined オープン

arguable enhancement

難易度 3/5 1〜2日初心者へのやさしさ 45/100

AbsaOSS/pramen#505 · 2024年10月22日に作成
Add a way to route different issues to different email lists オープン

DE enhancement Pramen-Scala

難易度 5/5 1週間以上初心者へのやさしさ 25/100

AbsaOSS/pramen#481 · 2024年9月2日に作成
Make embedded MongoDb tests runnable on MacOs/AppleSilicon and Windows オープン

enhancement Pramen-Scala

難易度 3/5 1〜2日初心者へのやさしさ 42/100

AbsaOSS/pramen#435 · 2024年7月12日に作成
Add the ability to have metastore partitioning column as a string, not a date オープン

DS enhancement Pramen-Scala

難易度 3/5 1〜2日初心者へのやさしさ 48/100

AbsaOSS/pramen#424 · 2024年6月7日に作成
A Hive table fails to load if a custom schema is used. オープン

bug DS Pramen-Scala

難易度 4/5 3〜5日初心者へのやさしさ 42/100

AbsaOSS/pramen#398 · 2024年4月30日に作成
Improve unit test coverage of ResultSetToRowIterator.scala オープン

enhancement Pramen-Scala Refactoring

難易度 3/5 1〜2日初心者へのやさしさ 35/100

AbsaOSS/pramen#379 · 2024年3月20日に作成
Create a CDC transformer オープン

DE enhancement Pramen-Scala

難易度 5/5 1週間以上初心者へのやさしさ 20/100

AbsaOSS/pramen#365 · 2024年2月26日に作成
Add an ability to format info date and insert date expression into JDBC SQL queries オープン

DS enhancement Pramen-Scala

難易度 5/5 1週間以上初心者へのやさしさ 35/100

AbsaOSS/pramen#360 · 2024年2月19日に作成
Add a mode for initial ingestion of event data オープン

DE enhancement Pramen-Scala

難易度 5/5 1週間以上初心者へのやさしさ 25/100

AbsaOSS/pramen#350 · 2024年2月2日に作成
Calculate and log stability metric for each operation オープン

enhancement Pramen-Scala

難易度 4/5 3〜5日初心者へのやさしさ 35/100

AbsaOSS/pramen#337 · 2024年1月11日に作成
Add 'pramen-test' artifact that contains fixtures for testing Pramen components オープン

enhancement Pramen-Scala

難易度 3/5 1〜2日初心者へのやさしさ 45/100

AbsaOSS/pramen#335 · 2024年1月10日に作成
Pramen pipelines sometimes hang when parallel.tasks > 1 オープン

bug might be fixed already Pramen-Scala

難易度 5/5 1週間以上初心者へのやさしさ 20/100

AbsaOSS/pramen#302 · 2023年11月23日に作成
Add an option to not track late data for a table オープン

enhancement Pramen-Scala

難易度 4/5 3〜5日初心者へのやさしさ 38/100

AbsaOSS/pramen#282 · 2023年11月7日に作成
Improve error messages for EnceladusSink errors オープン

DE enhancement Pramen-Scala

難易度 4/5 3〜5日初心者へのやさしさ 25/100

AbsaOSS/pramen#240 · 担当者 1 名 · 2023年8月31日に作成
Stateful data checks for ingestion and other types of jobs オープン

DE DS enhancement Pramen-Scala

難易度 5/5 1週間以上初心者へのやさしさ 18/100

AbsaOSS/pramen#220 · コメント 2 件 · 2023年7月8日に作成
Remove security vulnerabilities if possible オープン

DE DS enhancement

難易度 4/5 3〜5日初心者へのやさしさ 35/100

AbsaOSS/pramen#215 · コメント 2 件 · 担当者 1 名 · 2023年6月20日に作成
Allow sources to be configured as 'always have data' オープン

enhancement Pramen-Scala

難易度 4/5 3〜5日初心者へのやさしさ 30/100

AbsaOSS/pramen#184 · 2023年4月4日に作成
Some tests are in the 'tests' package where package private functions cannot be tested オープン

bug

難易度 3/5 1〜2日初心者へのやさしさ 35/100

AbsaOSS/pramen#157 · 2023年2月10日に作成
Test coverage changes tracking オープン

question

難易度 5/5 1週間以上初心者へのやさしさ 25/100

AbsaOSS/pramen#144 · 2023年1月27日に作成
Add a metastore method that returns all available tables オープン

enhancement Pramen-Py Pramen-Scala

難易度 5/5 1週間以上初心者へのやさしさ 25/100

AbsaOSS/pramen#133 · コメント 1 件 · 2023年1月17日に作成
Allow storing the metastore configuration on Hadoop (HDFS, S3, etc) オープン

enhancement Pramen-Scala

難易度 5/5 1週間以上初心者へのやさしさ 25/100

AbsaOSS/pramen#121 · 2023年1月10日に作成
Maximum days late data load オープン

enhancement Pramen-Scala

難易度 4/5 3〜5日初心者へのやさしさ 25/100

AbsaOSS/pramen#120 · リアクション 1 件 · 担当者 1 名 · 2023年1月10日に作成
Make sure CI/CD includes Python 3.6 オープン

bug CI/CD

難易度 2/5 1〜3時間初心者へのやさしさ 35/100

AbsaOSS/pramen#89 · 2022年12月1日に作成
Fail the full pipeline on certain types of exceptions オープン

enhancement Pramen-Scala

難易度 4/5 3〜5日初心者へのやさしさ 35/100

AbsaOSS/pramen#87 · 2022年12月1日に作成
move from poetry to pdm オープン

Pramen-Py

難易度 4/5 3〜5日初心者へのやさしさ 35/100

AbsaOSS/pramen#41 · 2022年10月6日に作成
Allow specifying Spark resources per Python-Py Transformer オープン

enhancement help wanted Pramen-Py

難易度 3/5 1〜2日初心者へのやさしさ 45/100

AbsaOSS/pramen#36 · リアクション 1 件 · 2022年9月14日に作成

AbsaOSS/pramen

新しい issue をメールで受け取る