apache/airflow

OpenLineage provider emits warning about use of fork() on Python 3.12

Open

#47,160 创建于 2025年2月27日

在 GitHub 查看
 (4 评论) (0 反应) (0 负责人)Python (16,781 fork)batch import
area:providersgood first issuekind:bugprovider:openlineage

仓库指标

Star
 (44,809 star)
PR 合并指标
 (平均合并 7天 18小时) (30 天内合并 834 个 PR)

描述

Apache Airflow Provider(s)

openlineage

Versions of Apache Airflow Providers

main

Apache Airflow version

latest

Operating System

null

Deployment

Virtualenv installation

Deployment details

No response

What happened

There is a warning being emitted. Need to investigate alternatives and adjust provider code.

WARNING - /usr/local/lib/python3.12/site-packages/airflow/providers/openlineage/plugins/listener.py:400 DeprecationWarning: This process (pid=682) is multi-threaded, use of fork() may lead to deadlocks in the child.

What you think should happen instead

No response

How to reproduce

Run dag with OpenLineage enabled on python 3.12

Anything else

No response

Are you willing to submit PR?

  • Yes I am willing to submit a PR!

Code of Conduct

贡献者指南

研究方向
警告出现在 /usr/local/lib/python3.12/site packages/airflow/providers/openlineage/plugins/listener.py:400。请调查该文件中 fork() 的使用，并考虑使用 multiprocessing spawn 或其他方法来避免死锁。检查 OpenLineage 提供程序代码与 Python 3.12 的兼容性。报告者愿意提交 PR，因此任何关于首选方法的维护者指导都将很有帮助。
技术栈
python
领域
backend
议题类型
缺陷
难度面向新贡献者的预计实现难度，1 表示很小改动，5 表示专家级工作。
2
预计时间有经验贡献者完成调查、实现、测试并准备 pull request 的粗略时间范围。
半天
活动状态议题当前的可参与程度：新鲜、活跃、陈旧、阻塞或等待维护者输入。
活跃
清晰度议题是否清楚说明期望改动、验收标准和下一步。
清晰
前置要求
PythonAirflow
新手友好度1-100 的估计分数，表示该议题对首次贡献者的友好程度。
65