apache/airflow

OpenLineage provider emits warning about use of fork() on Python 3.12

Open

#47.160 aperta il 27 feb 2025

Vedi su GitHub
 (4 commenti) (0 reazioni) (0 assegnatari)Python (16.781 fork)batch import
area:providersgood first issuekind:bugprovider:openlineage

Metriche repository

Star
 (44.809 star)
Metriche merge PR
 (Merge medio 7g 18h) (834 PR mergiate in 30 g)

Descrizione

Apache Airflow Provider(s)

openlineage

Versions of Apache Airflow Providers

main

Apache Airflow version

latest

Operating System

null

Deployment

Virtualenv installation

Deployment details

No response

What happened

There is a warning being emitted. Need to investigate alternatives and adjust provider code.

WARNING - /usr/local/lib/python3.12/site-packages/airflow/providers/openlineage/plugins/listener.py:400 DeprecationWarning: This process (pid=682) is multi-threaded, use of fork() may lead to deadlocks in the child.

What you think should happen instead

No response

How to reproduce

Run dag with OpenLineage enabled on python 3.12

Anything else

No response

Are you willing to submit PR?

  • Yes I am willing to submit a PR!

Code of Conduct

Guida contributor

Direzione di ricerca
L'avviso si verifica in /usr/local/lib/python3.12/site packages/airflow/providers/openlineage/plugins/listener.py:400. Indaga sull'uso di fork() in quel file e considera l'utilizzo di multiprocessing spawn o altri metodi per evitare deadlock. Controlla il codice del provider OpenLineage per la compatibilità con Python 3.12. Il segnalatore è disposto a inviare una PR, quindi qualsiasi indicazione da parte dei manutentori sull'approccio preferito sarebbe utile.
Tech stack
python
Dominio
backend
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonAirflow
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
65