Feature Request: Automated evaluation to compare new version against old version
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 35/100
Hướng nghiên cứu
Issue không nêu tên tệp, bài kiểm thử hoặc điểm vào nào, vì vậy hãy bắt đầu bằng cách xác định các workflow đánh giá và quản lý phiên bản hiện có. Xác định cách chọn phiên bản cũ và mới, những metric nào được hỗ trợ và cách CI báo cáo liệu phiên bản mới có cải thiện hay không; để được coi là hoàn tất, cần có một phép so sánh tự động với kết quả hồi quy rõ ràng.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Is your feature request related to a problem? Please describe.
Currently, there is no built-in way to objectively determine whether a new version performs better than the previous one. Users have to rely on manual testing or subjective judgment, which is time-consuming and error-prone.
Describe the solution you'd like
I would like a built-in evaluation feature that automatically benchmarks the new version against the old version across key metrics (e.g., performance, accuracy, resource usage, etc.) and provides a clear comparison report indicating whether the new version improves upon the old one.
Describe alternatives you've considered
Running separate tests manually and comparing logs/outputs side-by-side, but this is not efficient or standardized.
Additional context
This would be especially useful for CI/CD pipelines and regression testing.
- Ngôn ngữ chính
- Go
- Star
- 1.5k
- Fork
- 134
- Merge trung bình
- 1 ngày 22 giờ
- Pull request đã merge (30 ngày)
- 61
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của alibaba/skill-up
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100
Maintainer thường phản hồi trong vòng 1 ngày
-
OpenSandbox runtime: expect.files_exist and file_contains fail because WorkspacePath is remoteCó thể đã có người làm @bababoom721 đã nhận 1 ngày trước. Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 30/100
alibaba/skill-up#408 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 15/100
alibaba/skill-up#407 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100
alibaba/skill-up#406 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của alibaba/skill-up
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 86/100
fluxcd/notification-controller#1441 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
OneBusAway/maglev#2145 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
priority/medium status/ready type/chore
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100
discobox-ai/discobox#1357 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
TestPseudoLocaleRemote fails now and then: it types the code before the laptop asks for itCó thể đã có người làm @fzn0x đã nhận hôm nay. Đang mởbug priority: low
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
Maintainer thường phản hồi trong vòng 1 ngày
-
edit_file diff rendering panics on invalid UTF-8 textCó thể đã có người làm @TDnorthgarden đã nhận hôm nay. Đang mởarea/tui
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 85/100
docker/docker-agent#4955 ·
Maintainer thường phản hồi trong vòng 1 ngày