Generate predictions for responses with non-numeric human scores
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 35/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- python, scikit-learn
- Lĩnh vực
- machine-learning
Hướng nghiên cứu
Bắt đầu bằng cách đọc entry point RSMPredict hiện có và luồng training-file để hiểu cách các model hiện đang được train và các prediction được tạo ra. Xác định một đường dẫn train-then-predict duy nhất cho các human score không phải dạng số, sử dụng confusion-matrix làm bước kiểm tra hoàn tất phù hợp, đồng thời giữ nguyên giới hạn đã nêu đối với phần lớn các evaluation.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
[by @aoifecahill ] It would be nice if it was possible to automatically generate predictions for data that has non-numeric human scores. Obviously these predictions can't be used in most of the evaluations, but they could be useful in a confusion matrix for example.
I know RSMPredict does predictions, but that's not quite what I was looking for. It would be nice if there was just one tool that trained a model using the training file and then ran RSMPredict on the test file. I don't think anything like that already exists? I don't really care much about the evaluation (though the confusion matrix would be interesting), rather just would like the convenience of being able to do train+predict in one step rather than multiple with hacks (since I don't know of a way to just train a model without having a fake test file for rsmtool?)
This is a nice-to-have issue.
- Ngôn ngữ chính
- Python
- Star
- 71
- Fork
- 21
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của EducationalTestingService/rsmtool
-
Slim installation option or model inference export optionCó thể đã có người làm @twoertwein đã nhận 645 ngày trước. Đang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
EducationalTestingService/rsmtool#689 · 5 bình luận ·
-
enhancement
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
-
Add support for sections in rsmxvalCó thể làm lại được @damien2012eng đã nhận 749 ngày trước và không có pull request nào đang mở. Đang mở
EducationalTestingService/rsmtool#557 · 1 người được giao ·
-
enhancement
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100
-
good first issue help wanted
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 30/100
Tất cả issue của EducationalTestingService/rsmtool
Issue tương tự
-
enhancement good first issue Stellar Wave trivial
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
StellarCanary/ProtocolCanary-Fixtures#258 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
github_actions
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100
Hochfrequenz/aibap.mcp#578 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
mishraprafful/multihull#150 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
mp: /status reports the server class name as engine_type, not the configured engineCó thể đã có người làm Có pull request liên kết đang mở hoặc đã được merge. Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
Maintainer thường phản hồi trong vòng 2 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 66/100
python-caldav/caldav#735 ·
Maintainer thường phản hồi trong vòng 1 ngày