Feature request: Coverage in DifferentiationInterfaceTest

Đang mở
  • Có gì không ổn?
#1,024 9 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
30/100
Loại issue
Tính năng
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Ít trao đổi
Công nghệ
julia
Lĩnh vực
testing

Hướng nghiên cứu

Bắt đầu bằng cách đọc các kịch bản của DifferentiationInterfaceTest (DIT) và các entry point hiện có cho CI, tài liệu và benchmarking được mô tả trong issue. Xác định xem coverage có thể được định nghĩa nhất quán giữa các backend AD được hỗ trợ hay không và nó sẽ kết nối với các kịch bản dùng chung như thế nào. Được xem là hoàn thành khi có một workflow coverage được lập tài liệu và hoạt động, hoặc một giải thích có lý do rõ ràng về việc tại sao điều này không khả thi.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

documentation

To preface, this may be impossible and I really like DIT as it stands.

Ask

I would like to be able to use DifferentiaionInterfaceTest as my unit testing interface, benchmarking tool, and code coverage generator when creating packages meant to work well with AD (both a specific AD package and for multiple as far as I am aware, none of them has good tools for this). Related package level issue: https://github.com/EpiAware/CensoredDistributions.jl/issues/272

The missing part of this is having an understanding of what is being covered by my DIT scenarios which it seems code coverage is designed for.

The reason I want this is we are moving towards making a larger Julia ecosystem of packages and we really want them on a firm base/with some good practices established before hand.

What we are doing at the moment:

We currently run DIT in our CI per benchmark, in our docs (https://censoreddistributions.epiaware.org/stable/getting-started/tutorials/ad-backends) and in our benchmarking suite from a shared set of scenarios. Early days but very happy with DIT as it stands. The only additional nice to have would be a shared way to test rules but that seems like the real wild west so I imagine is out of scope.

Solution

I don't know. I don't know anything about how the AD version of the code interacts with the original version or if there is enough commonality between backends to make this a thing that is plausible to do across backends.

Ngôn ngữ chính
Julia
Star
316
Fork
38
Merge trung bình
2 ngày 15 giờ
Pull request đã merge (30 ngày)
3

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của JuliaDiff/DifferentiationInterface.jl

Tất cả issue của JuliaDiff/DifferentiationInterface.jl

Issue tương tự

Thêm issue về Julia

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.