Add VGP: variational Gaussian inference for non-Gaussian likelihoods without inducing points

Aperta
#39 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

@bwengals ci sta già lavorando.

Dal 24/6/2026.

  • #42 di @bwengals — aperta

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
35/100
Tipo di issue
Funzionalità
Chiarezza
Abbastanza chiara
Stato di attività
Tranquilla
Stack tecnologico
python

Direzione di ricerca

Inizia leggendo il workflow esistente di fit/predict e la quadratura dell’aspettativa variazionale, gauss_kl e la logica conditional menzionate nell’issue. Definisci il VGP attorno al posterior completo degli input di training e alla ELBO, quindi esamina come il dispatch della likelihood per osservazione potrebbe supportare likelihood composite. Il lavoro è completato quando le likelihood non gaussiane e definite dall’utente funzionano senza inducing points e producono un limite inferiore valido della marginal likelihood.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

This issue covers adding a VGP model, a full Variational Gaussian Process, that performs deterministic, gradient-based variational inference for non-Gaussian likelihoods on the full (non-sparse) GP, with no inducing points. The variational posterior q(f) = N(m, S) is placed directly over the latent function at the training inputs, and we maximize the ELBO, which is the sum over points of E_q(f_i)[log p(y_i | f_i)] minus KL[q(f) || p(f)]. The method follows Opper and Archambeau (2009), "The Variational Gaussian Approximation Revisited," Neural Computation 21(3), which shows the optimal Gaussian posterior needs only O(N) variational parameters.

The goal is to let users fit arbitrary likelihoods (Poisson, Student-t, Bernoulli, negative-binomial, and user-defined) on a small-to-moderate-N GP while getting a proper lower bound on the marginal likelihood. It fits naturally into the existing fit/predict workflow and reuses the existing variational-expectation quadrature, gauss_kl, and conditional machinery.

This work will also add support for composite likelihoods, meaning different likelihood factors on different observations (for example, some y_i under a Student-t likelihood and others interval-censored). Because the ELBO data term is a sum over independent points, each point can carry its own likelihood factor, so a combinator that dispatches per observation composes directly with the VGP objective.

The gap it fills: today a non-Gaussian likelihood forces SVGP, which brings inducing-point machinery whose only purpose is scaling. That is unnecessary at small N and introduces an approximation you do not want there. gp.Unapproximated is Gaussian-only, so there is currently no way to use a non-Gaussian likelihood on a full GP without the inducing-point approximation. VGP fills that slot. Conceptually it is SVGP with the inducing points pinned to the data and the Nystrom gap removed.

Lingua principale
Jupyter Notebook
Stelle
15
Fork
5
Merge medio
2g 10h
PR unite (30g)
5

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di pymc-devs/ptgp

Tutte le issue di pymc-devs/ptgp

Issue simili

Altre issue su Machine Learning

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.