Performance Results on HumanEval
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 20/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- python
- Lĩnh vực
- machine-learning
Hướng nghiên cứu
The issue names no files, tests, or entry points. First inspect the CodeRL repository and the paper's APPS/Codex evaluation setup to determine whether a HumanEval evaluation path exists; done would be a documented HumanEval comparison or a clear statement of scope.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
I am reading your CodeRL paper. It uses the APPS benchmark to show the performance comparison with Codex. Do you have any comparison results using the HumanEval dataset?
- Ngôn ngữ chính
- Python
- Star
- 577
- Fork
- 69
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của salesforce/CodeRL
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 10/100
salesforce/CodeRL#65 ·
-
CodeRL模型谷歌云盘访问遭拒Đang mở
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 10/100
salesforce/CodeRL#64 ·
-
Models - Access DeniedĐang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 10/100
salesforce/CodeRL#63 ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 32/100
salesforce/CodeRL#61 · 3 bình luận ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 20/100
salesforce/CodeRL#60 ·
Tất cả issue của salesforce/CodeRL
Issue tương tự
-
Custom provider API keys collide on one host: env slot keyed on host:port only, not URL pathĐang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
NousResearch/hermes-agent#140958 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Bisect issue233186Đang mởbisect
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
dtcxzyw/llvm-bisect-service#548 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
sallowayma-git/IELTS-practice#248 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 65/100
anthropics/claude-plugins-official#6763 · 10 bình luận · 10 reaction ·
Maintainer thường phản hồi trong vòng 3 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 85/100
Maintainer thường phản hồi trong vòng 1 ngày