Cannot pickle functions decorated through contextlib
まだ誰も着手していません。
評価
調査の方向性
demo.py の例から失敗を再現し、traceback に示された dump パス周辺の cloudpickle/cloudpickle_fast.py を調査するとともに、Python の contextmanager と asynccontextmanager の動作を確認します。完了条件は、両方のデコレートされた関数を generator または async_generator エラーなしでシリアライズおよびデシリアライズでき、デコレータの動作を維持できることです。
索引モデルが issue の本文から書いたものです。
説明
It's a somewhat little known feature of contextlib.contextmanager and contextlib.asynccontextmanager that you can use the decorated functions not only as context managers, but also as function decorators:
import asyncio
from contextlib import contextmanager, asynccontextmanager
@contextmanager
def c():
print("before")
yield
print("after")
@c()
def f():
print("hello world")
f()
@asynccontextmanager
async def ac():
print("async before")
yield
print("async after")
@ac()
async def af():
print("async hello world")
asyncio.run(af())
before
hello world
after
async before
async hello world
async after
cloudpickle 2.2.1 fails to serialize functions decorated this way:
>>> pickle.loads(pickle.dumps(f))
<function f at 0x7f949972d580>
>>> pickle.loads(pickle.dumps(af))
<function af at 0x7f9499770180>
>>> cloudpickle.dumps(f)
Traceback (most recent call last):
File "demo.py", line 34, in <module>
cloudpickle.dumps(f)
^^^^^^^^^^^^^^^^^^^^
File "lib/python3.11/site-packages/cloudpickle/cloudpickle_fast.py", line 73, in dumps
cp.dump(obj)
File "lib/python3.11/site-packages/cloudpickle/cloudpickle_fast.py", line 632, in dump
return Pickler.dump(self, obj)
^^^^^^^^^^^^^^^^^^^^^^^
TypeError: cannot pickle 'generator' object
>>> cloudpickle.dumps(af)
Traceback (most recent call last):
File "demo.py", line 35, in <module>
cloudpickle.dumps(af)
^^^^^^^^^^^^^^^^^^^^^
File "lib/python3.11/site-packages/cloudpickle/cloudpickle_fast.py", line 73, in dumps
cp.dump(obj)
File "lib/python3.11/site-packages/cloudpickle/cloudpickle_fast.py", line 632, in dump
return Pickler.dump(self, obj)
^^^^^^^^^^^^^^^^^^^^^^^
TypeError: cannot pickle 'async_generator' object
- 主要言語
- Python
- スター
- 1.9k
- フォーク
- 197
- 平均マージ
- 1日 10時間
- マージ済み PR（30日）
- 1
環境構築
このプロジェクトの環境構築ファイルはまだ確認していません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
cloudpipe/cloudpickle のほかの issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
cloudpipe/cloudpickle#593 · コメント 1 件 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 42/100
cloudpipe/cloudpickle#595 ·
-
難易度 3/5 1〜2日 初心者へのやさしさ 65/100
cloudpipe/cloudpickle#592 · コメント 2 件 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
cloudpipe/cloudpickle#589 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 20/100
cloudpipe/cloudpickle#587 ·
cloudpipe/cloudpickle の issue をすべて見る
似ている issue
-
correction metadata
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
acl-org/acl-anthology#10104 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
bug status/needs-triage
難易度 2/5 1〜3時間 初心者へのやさしさ 86/100
prowler-cloud/prowler#12885 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
Bug in GaussianTailProbabilityCalibrator: running_statistics=False still uses a windowed varianceオープンbug good first issue
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
selimfirat/pysad#107 ·
メンテナーはふだん 1 日以内に返信
-
bug ci-failure high priority
難易度 1/5 1時間未満 初心者へのやさしさ 88/100
vllm-project/vllm-omni#8194 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
メンテナーはふだん 1 日以内に返信