apache/airflow

OpenLineage provider emits warning about use of fork() on Python 3.12

Open

#47.160 aberto em 27 de fev. de 2025

Ver no GitHub
 (4 comments) (0 reactions) (0 assignees)Python (16.781 forks)batch import
area:providersgood first issuekind:bugprovider:openlineage

Métricas do repositório

Stars
 (44.809 stars)
Métricas de merge de PR
 (Mesclagem média 7d 18h) (834 fundiu PRs em 30d)

Description

Apache Airflow Provider(s)

openlineage

Versions of Apache Airflow Providers

main

Apache Airflow version

latest

Operating System

null

Deployment

Virtualenv installation

Deployment details

No response

What happened

There is a warning being emitted. Need to investigate alternatives and adjust provider code.

WARNING - /usr/local/lib/python3.12/site-packages/airflow/providers/openlineage/plugins/listener.py:400 DeprecationWarning: This process (pid=682) is multi-threaded, use of fork() may lead to deadlocks in the child.

What you think should happen instead

No response

How to reproduce

Run dag with OpenLineage enabled on python 3.12

Anything else

No response

Are you willing to submit PR?

  • Yes I am willing to submit a PR!

Code of Conduct

Guia do colaborador

Direção de pesquisa
O aviso ocorre em /usr/local/lib/python3.12/site packages/airflow/providers/openlineage/plugins/listener.py:400. Investigue o uso de fork() nesse arquivo e considere usar multiprocessing spawn ou outros métodos para evitar deadlocks. Verifique o código do provedor OpenLineage quanto à compatibilidade com Python 3.12. O relator está disposto a enviar um PR, portanto, qualquer orientação dos mantenedores sobre a abordagem preferida seria útil.
Pilha de tecnologia
python
Domain
backend
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PythonAirflow
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
65