Core implementations to add: practical GP advances

Aperta
#11 1 commento 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
25/100
Tipo di issue
Funzionalità
Chiarezza
Da chiarire
Stato di attività
Tranquilla
Stack tecnologico
python

Direzione di ricerca

Inizia esaminando gli obiettivi proposti in questa issue e la discussione correlata sul rewrite in #9. Non sono indicati file di implementazione né test; il lavoro non è pronto per iniziare finché non sarà selezionato un metodo, non ne sarà definito l’ambito e non gli saranno assegnati criteri concreti di completamento.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

roadmap

A list of implementations that would make ptgp more useful as a general-purpose GP toolkit. The goal is broadly useful GP advances, not things hyper-targeted to specific problems. ptgp should also work well as a substrate for people building specialized models on top, but the core should cover what practitioners should reach for more often.

Objectives

  • LOO-CV (Leave-One-Out Cross-Validation) — analytic for exact GPs with Gaussian noise. Penalizes overfitting more aggressively than MLL. Useful for kernel model selection without a validation set.
  • Predictive log likelihood (PLL) for SVGP — Jankowiak et al. (2020). Uses log E[p(y|f)] instead of E[log p(y|f)]. Tends to produce better-calibrated predictive variances than the standard ELBO.

Sparse / structured approximations

  • Spherical harmonic features — Dutordoir et al. (2020). Inter-domain inducing variables on the unit hypersphere. Diagonal Kuu, so solves are elementwise division. Multi-dimensional counterpart to VFF.
  • Iterative solvers (CG, Lanczos) — the GPyTorch approach: use conjugate gradients for solves and stochastic trace estimators for log determinants instead of Cholesky. Scales to much larger N than exact methods. How this should work in ptgp is an open question: should PyTensor rewrites automatically choose between Cholesky and CG based on problem size, or should this be a user-facing choice? See #9 for related discussion on rewrites.

What else?

What other broadly useful GP methods or features are missing?

Lingua principale
Jupyter Notebook
Stelle
15
Fork
5
Merge medio
2g 10h
PR unite (30g)
5

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di pymc-devs/ptgp

Tutte le issue di pymc-devs/ptgp

Issue simili

Altre issue su Machine Learning

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.