Add `min` and `max` rev specializations?

Đang mở
  • Có gì không ổn?
#3,249 10 bình luận 3 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
35/100
Loại issue
Tính năng
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Đình trệ
Công nghệ
cpp
Lĩnh vực
backend

Hướng nghiên cứu

Trước tiên, hãy đọc các thảo luận Stack Exchange và PyTorch được liên kết, sau đó kiểm tra các API min/max hiện có và các mẫu chuyên biệt hóa reverse-mode trong thư viện. Làm rõ hành vi dự kiến đối với scalar và vector, bao gồm các đối số bằng nhau và các gradient được đề xuất; công việc được hoàn tất khi các chuyên biệt hóa đã thống nhất được triển khai cùng với các test bao phủ những trường hợp đó.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

good first issue

From this stackoverflow post it looks like we can phrase max(a,b) into

$$
max(a,b) = \frac{a + b + |a-b|}{2}
$$

and similarly for min

$$
min(a,b) = \frac{a + b - |a-b|}{2}
$$

So except for the case when $a=b$ this function is differentiable. For max we have

$$
\begin{align}
\frac{\partial max}{a} = \frac{1}{2} + \frac{sign(a-b)}{2}
\frac{\partial max}{a} = \frac{1}{2} + \frac{sign(a-b)}{2}
\end{align}
$$

so if a>b the gradient is 1 and if a<b the gradient is 1/2. For min we have

$$
\begin{align}
\frac{\partial min}{a} = \frac{1}{2} - \frac{sign(a-b)}{2}
\frac{\partial min}{a} = \frac{1}{2} - \frac{sign(a-b)}{2}
\end{align}
$$

where if $a>b$ the gradient is 0 and if $a<b$ the gradient is 1/2

From this it seems like pytorch does something similar to the above. I think this would be nice to implement. We can also write min(vector) for these as well.

Ngôn ngữ chính
C++
Star
845
Fork
225
Merge trung bình
3 ngày 9 giờ
Pull request đã merge (30 ngày)
12

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của stan-dev/math

Tất cả issue của stan-dev/math

Issue tương tự

Thêm issue về C++

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.