Globals read only inside a class body defined in a by-value function are not pickled (NameError after loading)

Offen
  • Stimmt etwas nicht?
#609 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Maintainer antworten meist innerhalb von 1 Tag

Dieses Issue hat noch niemand übernommen.

  • #614 von @Eryx-Z — ohne Merge geschlossen

Bewertung

Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Anfängerfreundlichkeit
55/100
Issue-Typ
Bug
Klarheit
Klar beschrieben
Aktivitätsstatus
Aktiv
Tech-Stack
python
Bereich
backend

Rechercherichtung

Start by reading _extract_code_globals around GLOBAL_OPS in cloudpickle/cloudpickle.py, then inspect _function_getstate and the base_globals path in _function_getnewargs identified in the issue. Reproduce the provided example and check the related class-scope opcode cases across the listed Python versions. Done means the globals used by those class scopes are available after loading, with regression tests covering the reported cases.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

🤖 AI text below 🤖

A global that a by-value function reads only inside the body of a class it defines is not pickled, so the loaded function raises NameError. This happens on Python 3.11 through 3.14, with cloudpickle 3.1.2 and with master (4af5936).

import subprocess, sys
import cloudpickle

ns = {"__name__": "not_importable", "CONST": 42}  # not importable, so f is pickled by value
exec("def f():\n    class Rec:\n        q = CONST\n    return Rec.q\n", ns)
print("local:", ns["f"]())
load = "import pickle, sys; print(pickle.loads(sys.stdin.buffer.read())())"
r = subprocess.run([sys.executable, "-c", load], input=cloudpickle.dumps(ns["f"]), capture_output=True)
print("loaded:", (r.stdout or r.stderr).decode().strip().splitlines()[-1])

Output on 3.11.15, 3.12.10, 3.13.3 and 3.14.6:

local: 42
loaded: NameError: name 'CONST' is not defined

Other class-scope reads fail the same way:

  • a field annotation naming a global, for example a dataclass p: Point defined inside the function (measured on 3.13 and 3.14);
  • a class-scoped type Inner = G alias, once its value is evaluated (measured on 3.12, 3.13 and 3.14).

Cause: _extract_code_globals only collects names from GLOBAL_OPS, which is STORE_GLOBAL, DELETE_GLOBAL and LOAD_GLOBAL (L388-L397). Inside a class scope, the compiler reads names with other opcodes (measured with dis):

  • class-body statements, and annotations before 3.14, use LOAD_NAME (3.11-3.14);
  • a class's __annotate__ function (3.14) and a class-scoped type alias value (3.12+) use LOAD_FROM_DICT_OR_GLOBALS.

Suggested fix: add LOAD_NAME to GLOBAL_OPS, and also LOAD_FROM_DICT_OR_GLOBALS on 3.12+. Both consumers already keep only names present in func.__globals__, so class-local names collected this way are dropped:

Related: #608.

Vorherrschende Sprache
Python
Sterne
2k
Forks
215
Keine gemergten PRs in 30 T.

Entwicklungsumgebung

Dieses Projekt bietet weder Dev-Container noch Dockerfile noch Beitragsleitfaden – die Einrichtung liegt bei Ihnen. Beginnen Sie mit der README; die allgemeinen Schritte stehen in unserem Leitfaden für den ersten Beitrag.

Erste Schritte

  1. Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
  3. Forken Sie das Repository und arbeiten Sie in einem Branch.
  4. Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus cloudpipe/cloudpickle

Alle Issues in cloudpipe/cloudpickle

Ähnliche Issues

Weitere Issues zu Python

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.