Custom `rrule` not working with ReverseDiff

オープン
  • 何か問題がありますか？
#208 コメント 1 件 リアクション 1 件 担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度
4/5
見積もり時間
3〜5日
初心者へのやさしさ
35/100
issue の種類
バグ
明瞭さ
おおむね明確
活発さ
停滞
技術スタック
julia
領域
devtools

調査の方向性

Issue にある最小限の Julia 例から始め、カスタムの ChainRulesCore.rrule または @scalar_rule に到達するかを確認しながら ReverseDiff.gradient 呼び出しを実行します。ReverseDiff と ChainRules の相互作用を追跡し、ルールが無視される原因とサポートされる動作が明らかになった時点で、Issue は解決済みとみなします。

索引モデルが issue の本文から書いたものです。

説明

Hello everyone,

First off, thank you all for your work on ReverseDiff.
I'm not sure whether this issue belongs here on in the ChainRules repo, so forgive me if it's not relevant here.

I have tried defining my own pullback using ChainRules, which claims to be compatible with ReverseDiff.
However, my attempts so far have been unsuccesful.

As a minimal example, take

using ChainRules, ChainRulesCore, ReverseDiff, Plots

function new_gradient(x)
    return conj((abs(x / 2) + 1)^(-2))
end

function H(a)
    return (sign(a) + 1) / 2
end

function ϕ(x)
    return H(x[1])
end

@scalar_rule ϕ(x) new_gradient(x)

function ChainRulesCore.rrule(::typeof(ϕ), x::AbstractArray)
    y = ϕ.(x)

    function array_ϕ_pullback(ȳ)
        println("Test.")
        ϕ̄ = NoTangent()
        x̄ = @thunk new_gradient.(x) * ȳ
        return ϕ̄, x̄
    end

    return y, array_ϕ_pullback
end
gradplot = let
    xs = -5:0.01:5
    vals = [ϕ(x) for x in xs]
    grads = [ReverseDiff.gradient(ϕ, [x]) for x in xs]

    p = plot(xs, vals, label = "ϕ")
    plot!(p, xs, getindex.(grads, 1), label = "∇ϕ")
    p
end

My own rrules are never called.
Have I made an elementary mistake here, or is this actually a problem with ChainRules?

主要言語
Julia
スター
397
フォーク
62
平均マージ
6時間 46分
マージ済み PR（30日）
5

環境構築

このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

JuliaDiff/ReverseDiff.jl のほかの issue

JuliaDiff/ReverseDiff.jl の issue をすべて見る

似ている issue

Julia の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。