pyro-ppl/pyro

Implement Nonparametric Hamiltonian Monte Carlo

Open

#2903 aperta il 15 lug 2021

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Python (981 fork)batch import
discussionenhancementhelp wanted

Metriche repository

Star
 (8211 star)
Metriche merge PR
 (Merge medio 10g 19h) (1 PR mergiata in 30 g)

Descrizione

This issue proposes adding an implementation of nonparametric Hamiltonian Monte Carlo, a modified version of HMC that provably correctly handles models with stochastic control flow, unlike vanilla HMC.

@fzaiser (one of the paper's authors) has open-sourced a PyTorch reference implementation, and turning this into a Pyro inference algorithm would be a great project for contributors with some preexisting interest in and knowledge of the line of research (on extensions of gradient-based approximate inference algorithms to discontinuous models) embodied in the paper.

Some questions for discussion:

  1. What extra information about the model is necessary to support the algorithms used in the paper's experiments?
  2. Can this information be extracted automatically, or would it require additional user-supplied annotations?
  3. Would it make more sense to implement this functionality in a new MCMC kernel or to modify our existing HMC kernels?
  4. Would NumPyro be a better substrate for this algorithm since Jax does not compile away control flow?

Guida contributor

Direzione di ricerca
Studia il documento di riferimento (arxiv.org/abs/2106.10238) e l'implementazione di riferimento in PyTorch su github.com/fzaiser/nonparametric hmc. Indaga come adattare l'algoritmo alla struttura esistente dei kernel MCMC di Pyro. Il problema solleva diverse questioni aperte: determinare le informazioni necessarie del modello, automazione rispetto ad annotazioni utente, se implementare come nuovo kernel o modificare i kernel HMC esistenti, e se NumPyro (con JAX) potrebbe essere un substrato migliore grazie alla gestione del flusso di controllo di JAX. Considera di esplorare queste domande attraverso prototipazione e consultando il codice sorgente di Pyro per esempi di algoritmi di inferenza esistenti.
Tech stack
pythonpytorch
Dominio
machine learningai
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
5
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Oltre 1 settimana
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Datata
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Poco chiara
Prerequisiti
Knowledge of Hamiltonian Monte CarloFamiliarity with PyTorchUnderstanding of probabilistic programming
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
10