Add VGP: variational Gaussian inference for non-Gaussian likelihoods without inducing points
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 35/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Ít trao đổi
- Công nghệ
- python
- Lĩnh vực
- machine-learning
Hướng nghiên cứu
Bắt đầu bằng cách đọc workflow fit/predict hiện có cùng với phép cầu phương kỳ vọng biến phân, gauss_kl và cơ chế conditional được đề cập trong issue. Xây dựng VGP xoay quanh posterior đầy đủ của các đầu vào huấn luyện và ELBO, sau đó xem xét cách cơ chế dispatch likelihood theo từng quan sát có thể hỗ trợ các likelihood hợp thành. Công việc được coi là hoàn tất khi các likelihood không Gaussian và do người dùng định nghĩa hoạt động mà không cần inducing points và tạo ra một cận dưới hợp lệ của marginal likelihood.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
This issue covers adding a VGP model, a full Variational Gaussian Process, that performs deterministic, gradient-based variational inference for non-Gaussian likelihoods on the full (non-sparse) GP, with no inducing points. The variational posterior q(f) = N(m, S) is placed directly over the latent function at the training inputs, and we maximize the ELBO, which is the sum over points of E_q(f_i)[log p(y_i | f_i)] minus KL[q(f) || p(f)]. The method follows Opper and Archambeau (2009), "The Variational Gaussian Approximation Revisited," Neural Computation 21(3), which shows the optimal Gaussian posterior needs only O(N) variational parameters.
The goal is to let users fit arbitrary likelihoods (Poisson, Student-t, Bernoulli, negative-binomial, and user-defined) on a small-to-moderate-N GP while getting a proper lower bound on the marginal likelihood. It fits naturally into the existing fit/predict workflow and reuses the existing variational-expectation quadrature, gauss_kl, and conditional machinery.
This work will also add support for composite likelihoods, meaning different likelihood factors on different observations (for example, some y_i under a Student-t likelihood and others interval-censored). Because the ELBO data term is a sum over independent points, each point can carry its own likelihood factor, so a combinator that dispatches per observation composes directly with the VGP objective.
The gap it fills: today a non-Gaussian likelihood forces SVGP, which brings inducing-point machinery whose only purpose is scaling. That is unnecessary at small N and introduces an approximation you do not want there. gp.Unapproximated is Gaussian-only, so there is currently no way to use a non-Gaussian likelihood on a full GP without the inducing-point approximation. VGP fills that slot. Conceptually it is SVGP with the inducing points pinned to the data and the Nystrom gap removed.
- Ngôn ngữ chính
- Jupyter Notebook
- Star
- 15
- Fork
- 5
- Merge trung bình
- 2 ngày 10 giờ
- Pull request đã merge (30 ngày)
- 5
Chuẩn bị môi trường
Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của pymc-devs/ptgp
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 22/100
-
Expose and document VGP variational parameters for fit diagnosticsCó thể đã có người làm @bwengals đã nhận 54 ngày trước. Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 48/100
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
-
Is the API functional?Đang mởpymc
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
-
Rename library to GPTĐang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
Tất cả issue của pymc-devs/ptgp
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
-
[Bug]: PSNR overflows with a float16 tensor data range for 10-bit imagesCó thể đã có người làm @AkshatPal2007 đã nhận hôm nay. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
Maintainer thường phản hồi trong vòng 1 ngày
-
bug good first issue
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
Maintainer thường phản hồi trong vòng 1 ngày
-
[Bug] LogitsPipe rejects an int64 per-row top_k tensor that the sampling API acceptsCó thể đã có người làm @bhargavchintam đã nhận hôm nay. Đang mởneeds-triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
flashinfer-ai/flashinfer#9840 · 2 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 62/100
callstackincubator/ai#378 ·
Maintainer thường phản hồi trong vòng 1 ngày