EnzymeAD/Enzyme.jl

API for Hessian

Open

#1 495 ouverte le 6 juin 2024

Voir sur GitHub
 (1 commentaire) (1 réaction) (0 assignés)Julia (96 forks)batch import
good first issue

Métriques du dépôt

Stars
 (563 stars)
Métriques de merge PR
 (Merge moyen 5j 1h) (76 PRs mergées en 30 j)

Description

A hessian / hessian! function in Enzyme would be cool!

Right now the method described in https://enzymead.github.io/Enzyme.jl/stable/generated/autodiff/#Forward-over-reverse uses BatchDuplicated. Am I correct in assuming that, like ForwardDiff's "chunks", Enzyme's "batches" are limited in size by memory bandwitch, typically to the order of 10 elements? If so, should there be a Hessian mode that computes HVPs in batches smaller than the size n?

Guide contributeur

Direction de recherche
Examinez la faisabilité de l'implémentation d'une fonction Hessian dans Enzyme.jl qui calcule des produits Hessian vecteur par lots pour traiter de grandes matrices hessiennes, en vous appuyant sur le mode forward over reverse existant.
Stack technique
Aucun
Domaine
machine learning
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
JuliaAutomatic Differentiation
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
50