Add support for second-order low-rank inducing bilinear optimization frameworks (and related penalties)

Đang mở
  • Có gì không ổn?
#50 4 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
15/100
Loại issue
Tính năng
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Đình trệ
Công nghệ
python
Lĩnh vực
machine-learning

Hướng nghiên cứu

The issue points to pyproximal/pyproximal/utils/bilinear.py and the PALM optimizer as existing entry points. Read those first, then investigate how second-order methods such as Levenberg-Marquardt and Variable Projection could fit the bilinear framework. Done would mean adding support for the proposed methods and, as a later step, related regularizers; the issue does not specify implementation details or tests.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

There is already support for BilinearOperator in pyproximal/pyproximal/utils/bilinear.py and the PALM optimizer; however,
they do not scale to second-order methods such as Levenberg-Marquardt (LM) and Variable Projection (VarPro). In recent years, such methods have been become popular alternatives to splitting methods such as ADMM for certain types of problems (e.g. image analysis and computer vision).

Examples

As an example the nuclear norm penalty has a variational formulation
image
which was utilized in [1] using a bilinear framework (no second order method involved, though).

This also scales to the weighted nuclear norm, and it has been successfully implemented for vision tasks using second-order methods in e.g. [2, 7, 8]. Other non-convex penalties have been studied as well, e.g. [3, 4, 5, 6].

Suggestion on enhancement

I suggest adding support for Levenberg-Marquardt (LM) and Variable Projection (VarPro). As a second step I suggest adding some of the mentioned regularizers.

References

[1] Cabral et al. "Unifying Nuclear Norm and Bilinear Factorization Approaches for Low-Rank Matrix Decomposition", In the Proceedings of the IEEE International Conference on Computer Vision (ICCV), 2013
[2] Iglesias et al. "Accurate Optimization of Weighted Nuclear Norm for Non-Rigid Structure from Motion", In the Proceedings of the European Conference on Computer Vision (ECCV), 2020
[3] Valtonen Ornhag et al. "Bilinear parameterization for differentiable rank-regularization", In the Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPR), 2020
[4] Valtonen Ornhag et al. "Differentiable Fixed-Rank Regularisation using Bilinear Parameterisation", In the Proceedings of the British Machine Vision Conference (BMVC), 2019
[5] Valtonen Ornhag et al. "Bilinear Parameterization for Non-Separable Singular Value Penalties", In the Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021
[6] Xu et al. "A unified convex surrogate for the schatten-p norm". In Proceedings of the Conference on Artificial Intelligence (AAAI), 2017
[7] Kumar "Non-rigid structure from motion: Prior-free factorization method revisited" In IEEE Winter Conference on Applications of Computer Vision (WACV), 2020
[8] McDonald et al. "Spectral k-support norm regularization", In Advances in Neural Information Processing Systems (NIPS), 2014

Ngôn ngữ chính
Python
Star
85
Fork
22
Merge trung bình
10 giờ 53 phút
Pull request đã merge (30 ngày)
1

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của PyLops/pyproximal

Tất cả issue của PyLops/pyproximal

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.