EnzymeAD/Enzyme.jl

API for Hessian

Open

#1495 aperta il 6 giu 2024

Vedi su GitHub
 (1 commento) (1 reazione) (0 assegnatari)Julia (96 fork)batch import
good first issue

Metriche repository

Star
 (563 star)
Metriche merge PR
 (Merge medio 5g 1h) (76 PR mergiate in 30 g)

Descrizione

A hessian / hessian! function in Enzyme would be cool!

Right now the method described in https://enzymead.github.io/Enzyme.jl/stable/generated/autodiff/#Forward-over-reverse uses BatchDuplicated. Am I correct in assuming that, like ForwardDiff's "chunks", Enzyme's "batches" are limited in size by memory bandwitch, typically to the order of 10 elements? If so, should there be a Hessian mode that computes HVPs in batches smaller than the size n?

Guida contributor

Direzione di ricerca
Esamina la fattibilità dell'implementazione di una funzione Hessian in Enzyme.jl che calcoli prodotti Hessian vettore in batch per gestire grandi Hessiani, basandosi sulla modalità forward over reverse esistente.
Tech stack
Nessuno
Dominio
machine learning
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
JuliaAutomatic Differentiation
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
50