EnzymeAD/Enzyme.jl

API for Hessian

Open

#1.495 geöffnet am 6. Juni 2024

Auf GitHub ansehen
 (1 Kommentar) (1 Reaktion) (0 zugewiesene Personen)Julia (96 Forks)batch import
good first issue

Repository-Metriken

Stars
 (563 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 5T 1h) (76 gemergte PRs in 30 T)

Beschreibung

A hessian / hessian! function in Enzyme would be cool!

Right now the method described in https://enzymead.github.io/Enzyme.jl/stable/generated/autodiff/#Forward-over-reverse uses BatchDuplicated. Am I correct in assuming that, like ForwardDiff's "chunks", Enzyme's "batches" are limited in size by memory bandwitch, typically to the order of 10 elements? If so, should there be a Hessian mode that computes HVPs in batches smaller than the size n?

Contributor Guide

Research-Richtung
Untersuchen Sie die Machbarkeit der Implementierung einer Hessian Funktion in Enzyme.jl, die Hessian Vektor Produkte in Batches berechnet, um große Hessian Matrizen zu handhaben, basierend auf dem vorhandenen Forward over Reverse Modus.
Tech Stack
Keine
Domain
machine learning
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
JuliaAutomatic Differentiation
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
50