How to generate Critic Scores that can mimic a reward model
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 20/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- python
- Lĩnh vực
- ai, machine-learning
Hướng nghiên cứu
Start by reading the CodeRL repository and the associated CodeRL paper to understand how critic models currently classify solutions and how reward models are used. The issue does not name an entry point, file, or test; done would require a documented approach or implementation for generating critic scores that can mimic a reward model.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Hello, hope all is well,
Wanted to ask how to generate critic scores for a solution of a code problem, is there a way instead of just classifying them using the critic model?
- Ngôn ngữ chính
- Python
- Star
- 576
- Fork
- 69
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
Chúng tôi chưa kiểm tra các tệp thiết lập môi trường của dự án này. Hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của salesforce/CodeRL
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 10/100
salesforce/CodeRL#65 ·
-
CodeRL模型谷歌云盘访问遭拒Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 10/100
salesforce/CodeRL#64 ·
-
Models - Access DeniedĐang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 10/100
salesforce/CodeRL#63 ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 32/100
salesforce/CodeRL#61 · 3 bình luận ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 20/100
salesforce/CodeRL#60 ·
Tất cả issue của salesforce/CodeRL
Issue tương tự
-
needs triage
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 2 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
openvinotoolkit/openvino_notebooks#3665 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 86/100
Maintainer thường phản hồi trong vòng 1 ngày
-
docs
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
Maintainer thường phản hồi trong vòng 1 ngày
-
benchmark-gap
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 1 ngày