pyro-ppl/pyro

Implement Nonparametric Hamiltonian Monte Carlo

Open

#2.903 geöffnet am 15. Juli 2021

Auf GitHub ansehen
 (0 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (981 Forks)batch import
discussionenhancementhelp wanted

Repository-Metriken

Stars
 (8.211 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 10T 19h) (1 gemergte PR in 30 T)

Beschreibung

This issue proposes adding an implementation of nonparametric Hamiltonian Monte Carlo, a modified version of HMC that provably correctly handles models with stochastic control flow, unlike vanilla HMC.

@fzaiser (one of the paper's authors) has open-sourced a PyTorch reference implementation, and turning this into a Pyro inference algorithm would be a great project for contributors with some preexisting interest in and knowledge of the line of research (on extensions of gradient-based approximate inference algorithms to discontinuous models) embodied in the paper.

Some questions for discussion:

  1. What extra information about the model is necessary to support the algorithms used in the paper's experiments?
  2. Can this information be extracted automatically, or would it require additional user-supplied annotations?
  3. Would it make more sense to implement this functionality in a new MCMC kernel or to modify our existing HMC kernels?
  4. Would NumPyro be a better substrate for this algorithm since Jax does not compile away control flow?

Contributor Guide

Research-Richtung
Erforschen Sie das referenzierte Papier (arxiv.org/abs/2106.10238) und die PyTorch Referenzimplementierung unter github.com/fzaiser/nonparametric hmc. Untersuchen Sie, wie der Algorithmus an die bestehende MCMC Kernel Struktur von Pyro angepasst werden kann. Das Problem wirft mehrere offene Fragen auf: Bestimmung der erforderlichen Modellinformationen, Automatisierung versus Benutzeranmerkungen, ob als neuer Kernel implementiert oder bestehende HMC Kernel modifiziert werden soll, und ob NumPyro (mit JAX) aufgrund der JAX Behandlung des Kontrollflusses ein besserer Unterbau wäre. Erwägen Sie, diese Fragen durch Prototyping und Konsultation des Pyro Quellcodes nach Beispielen bestehender Inferenzalgorithmen zu untersuchen.
Tech Stack
pythonpytorch
Domain
machine learningai
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
5
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Über 1 Woche
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Veraltet
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Unklar
Voraussetzungen
Knowledge of Hamiltonian Monte CarloFamiliarity with PyTorchUnderstanding of probabilistic programming
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
10