Add VGP: variational Gaussian inference for non-Gaussian likelihoods without inducing points
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 35/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Tranquilla
- Stack tecnologico
- python
- Ambito
- machine-learning
Direzione di ricerca
Inizia leggendo il workflow esistente di fit/predict e la quadratura dell’aspettativa variazionale, gauss_kl e la logica conditional menzionate nell’issue. Definisci il VGP attorno al posterior completo degli input di training e alla ELBO, quindi esamina come il dispatch della likelihood per osservazione potrebbe supportare likelihood composite. Il lavoro è completato quando le likelihood non gaussiane e definite dall’utente funzionano senza inducing points e producono un limite inferiore valido della marginal likelihood.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
This issue covers adding a VGP model, a full Variational Gaussian Process, that performs deterministic, gradient-based variational inference for non-Gaussian likelihoods on the full (non-sparse) GP, with no inducing points. The variational posterior q(f) = N(m, S) is placed directly over the latent function at the training inputs, and we maximize the ELBO, which is the sum over points of E_q(f_i)[log p(y_i | f_i)] minus KL[q(f) || p(f)]. The method follows Opper and Archambeau (2009), "The Variational Gaussian Approximation Revisited," Neural Computation 21(3), which shows the optimal Gaussian posterior needs only O(N) variational parameters.
The goal is to let users fit arbitrary likelihoods (Poisson, Student-t, Bernoulli, negative-binomial, and user-defined) on a small-to-moderate-N GP while getting a proper lower bound on the marginal likelihood. It fits naturally into the existing fit/predict workflow and reuses the existing variational-expectation quadrature, gauss_kl, and conditional machinery.
This work will also add support for composite likelihoods, meaning different likelihood factors on different observations (for example, some y_i under a Student-t likelihood and others interval-censored). Because the ELBO data term is a sum over independent points, each point can carry its own likelihood factor, so a combinator that dispatches per observation composes directly with the VGP objective.
The gap it fills: today a non-Gaussian likelihood forces SVGP, which brings inducing-point machinery whose only purpose is scaling. That is unnecessary at small N and introduces an approximation you do not want there. gp.Unapproximated is Gaussian-only, so there is currently no way to use a non-Gaussian likelihood on a full GP without the inducing-point approximation. VGP fills that slot. Conceptually it is SVGP with the inducing points pinned to the data and the Nystrom gap removed.
- Lingua principale
- Jupyter Notebook
- Stelle
- 15
- Fork
- 5
- Merge medio
- 2g 10h
- PR unite (30g)
- 5
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di pymc-devs/ptgp
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 22/100
-
Expose and document VGP variational parameters for fit diagnosticsForse già presa @bwengals l’ha presa 54 giorni fa. Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
-
Is the API functional?Apertapymc
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
-
Rename library to GPTAperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100
Tutte le issue di pymc-devs/ptgp
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
-
[Bug]: PSNR overflows with a float16 tensor data range for 10-bit imagesForse già presa @AkshatPal2007 l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
I maintainer di solito rispondono entro 1 giorno
-
bug good first issue
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
callstackincubator/ai#378 ·
I maintainer di solito rispondono entro 1 giorno
-
[BUG] KVarN assertion failure in build_inp_mem_hybrid_iswa() due to uninitialized self_kvarn_rotAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
Anbeeld/beellama.cpp#205 ·