jax jitted functions cloudpickled work but include some error messages
まだ誰も着手していません。
評価
調査の方向性
まず、提供された再現コード test_jax_cloudpickle を実行し、シリアライズされたバイト列に TRACEBACK が含まれていないか調べます。jax.jit 関数のシリアライズに関係する cloudpickle と JAX の動作を読み、JAX_TRACEBACK_FILTERING が関係するかどうかも確認します。望ましくないエラーメッセージなしに動作が正しく維持され、担当範囲が明確になれば、issue は解決です。
索引モデルが issue の本文から書いたものです。
説明
problems
cloudpickle works for jax.jit functions but a visual inspection of the cloudpickle contents shows there's a lurking error message
challenges
not sure if this belongs in cloudpickle or jax
is this my bad? I was hopeful we could just use the string jaxpr in utf8, it's more human readable, but I don't know how to regenerate a PjitFunction from a jaxpr
opportunities
a fix could reduce the size of cloudpickled jax.jit functions
def test_jax_cloudpickle():
def jnp_func(x):
return jax.numpy.sin(jax.numpy.cos(x))
jitted1 = jax.jit(jnp_func)
del jnp_func # this to ensure jitted2 can't cheat by recompiling jnp_func within a session
assert "jnp_func" not in locals(), "failed to remove jnp_func"
jitted1_buf = cloudpickle.dumps(jitted1)
rprint(jitted1_buf)
jitted2 = cloudpickle.loads(jitted1_buf)
assert jitted1(0.3) == jitted2(0.3), "weird"
assert b"TRACEBACK" not in jitted1_buf, "error message in cloudpickle of jax.jit"
test_jax_cloudpickle()
Could JAX_TRACEBACK_FILTERING= be greppable ?
thank you for making cloudpickle
- 主要言語
- Python
- スター
- 1.9k
- フォーク
- 197
- 平均マージ
- 1日 10時間
- マージ済み PR（30日）
- 1
環境構築
このプロジェクトの環境構築ファイルはまだ確認していません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
cloudpipe/cloudpickle のほかの issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
cloudpipe/cloudpickle#593 · コメント 1 件 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 42/100
cloudpipe/cloudpickle#595 ·
-
難易度 3/5 1〜2日 初心者へのやさしさ 65/100
cloudpipe/cloudpickle#592 · コメント 2 件 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
cloudpipe/cloudpickle#589 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 20/100
cloudpipe/cloudpickle#587 ·
cloudpipe/cloudpickle の issue をすべて見る
似ている issue
-
correction metadata
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
acl-org/acl-anthology#10104 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
bug status/needs-triage
難易度 2/5 1〜3時間 初心者へのやさしさ 86/100
prowler-cloud/prowler#12885 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
Bug in GaussianTailProbabilityCalibrator: running_statistics=False still uses a windowed varianceオープンbug good first issue
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
selimfirat/pysad#107 ·
メンテナーはふだん 1 日以内に返信
-
bug ci-failure high priority
難易度 1/5 1時間未満 初心者へのやさしさ 88/100
vllm-project/vllm-omni#8194 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
メンテナーはふだん 1 日以内に返信