apache/airflow

OpenLineage provider emits warning about use of fork() on Python 3.12

Open

#47.160 geöffnet am 27. Feb. 2025

Auf GitHub ansehen
 (4 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (16.781 Forks)batch import
area:providersgood first issuekind:bugprovider:openlineage

Repository-Metriken

Stars
 (44.809 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 7T 18h) (834 gemergte PRs in 30 T)

Beschreibung

Apache Airflow Provider(s)

openlineage

Versions of Apache Airflow Providers

main

Apache Airflow version

latest

Operating System

null

Deployment

Virtualenv installation

Deployment details

No response

What happened

There is a warning being emitted. Need to investigate alternatives and adjust provider code.

WARNING - /usr/local/lib/python3.12/site-packages/airflow/providers/openlineage/plugins/listener.py:400 DeprecationWarning: This process (pid=682) is multi-threaded, use of fork() may lead to deadlocks in the child.

What you think should happen instead

No response

How to reproduce

Run dag with OpenLineage enabled on python 3.12

Anything else

No response

Are you willing to submit PR?

  • Yes I am willing to submit a PR!

Code of Conduct

Contributor Guide

Research-Richtung
Die Warnung tritt unter /usr/local/lib/python3.12/site packages/airflow/providers/openlineage/plugins/listener.py:400 auf. Untersuchen Sie die Verwendung von fork() in dieser Datei und erwägen Sie die Verwendung von multiprocessing spawn oder anderen Methoden, um Deadlocks zu vermeiden. Überprüfen Sie den OpenLineage Provider Code auf Kompatibilität mit Python 3.12. Der Meldende ist bereit, einen PR einzureichen, daher wäre jede Anleitung der Maintainer zum bevorzugten Ansatz hilfreich.
Tech Stack
python
Domain
backend
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
PythonAirflow
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
65