Evaluate selecting test configs separately for each confidence level

Đang mở
  • Có gì không ổn?
#7,386 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 2 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
25/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
python
Lĩnh vực
machine-learning

Hướng nghiên cứu

Start by locating the HTTP service that returns config_groups, the config selection model evaluation, and the Firefox taskgraph strategies named bugbug-reduced-manifests-config-selection-*. Measure selection cost and regressions caught for each level against a selection using only groups at or above that level. The issue is resolved when the measurements show whether separate per-level selections are worthwhile and, if so, the service replies and taskgraph strategies use them.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

The HTTP service selects the configs of each confidence level (very_high, high, medium, low, very_low) after the ones of the levels above, reusing them, and returns a single config_groups for all levels. The Firefox taskgraph strategies that select configs (bugbug-reduced-manifests-config-selection-*) run the groups at or above their level on these configs.

This keeps the configs of a level independent from the groups below it, which don't run with it. However, a strategy at a lower level runs the groups of the levels above too, and their configs were selected without knowing which configs the lower groups would use: e.g. for the low strategy, a medium group can't reuse a config selected for a low group, so the low strategy may run more configs than a selection made for its groups alone.

We should measure how much this costs, e.g. in the config selection model's evaluation, comparing the cost and the regressions caught at each level with a selection made for the groups at or above it only.

If the difference is significant, the HTTP service could return a separate config selection for each level (a selection over all the groups at or above it), and the taskgraph strategies could read the one for their level. This would increase the size of the replies and the number of config selection model calls, and require changes in the taskgraph.

Ngôn ngữ chính
Python
Star
578
Fork
366
Merge trung bình
2 ngày 19 giờ
Pull request đã merge (30 ngày)
136

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của mozilla/bugbug

Tất cả issue của mozilla/bugbug

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.