Feature Request: Automated evaluation to compare new version against old version

Đang mở
#232 1 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
35/100
Loại issue
Tính năng
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Sôi nổi
Công nghệ
go
Lĩnh vực
ci-cd, testing

Hướng nghiên cứu

Issue không nêu tên tệp, bài kiểm thử hoặc điểm vào nào, vì vậy hãy bắt đầu bằng cách xác định các workflow đánh giá và quản lý phiên bản hiện có. Xác định cách chọn phiên bản cũ và mới, những metric nào được hỗ trợ và cách CI báo cáo liệu phiên bản mới có cải thiện hay không; để được coi là hoàn tất, cần có một phép so sánh tự động với kết quả hồi quy rõ ràng.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

enhancement

Is your feature request related to a problem? Please describe.
Currently, there is no built-in way to objectively determine whether a new version performs better than the previous one. Users have to rely on manual testing or subjective judgment, which is time-consuming and error-prone.

Describe the solution you'd like
I would like a built-in evaluation feature that automatically benchmarks the new version against the old version across key metrics (e.g., performance, accuracy, resource usage, etc.) and provides a clear comparison report indicating whether the new version improves upon the old one.

Describe alternatives you've considered
Running separate tests manually and comparing logs/outputs side-by-side, but this is not efficient or standardized.

Additional context
This would be especially useful for CI/CD pipelines and regression testing.

Ngôn ngữ chính
Go
Star
1.5k
Fork
134
Merge trung bình
1 ngày 22 giờ
Pull request đã merge (30 ngày)
61

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của alibaba/skill-up

Tất cả issue của alibaba/skill-up

Issue tương tự

Thêm issue về Go

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.