Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Code benchmarks

Đang mở
  • Có gì không ổn?
#5 2 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
25/100
Loại issue
Tính năng
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Ít trao đổi
Công nghệ
python
Lĩnh vực
machine-learning

Hướng nghiên cứu

Issue không nêu tệp nào trong repository, test hoặc entry point. Hãy bắt đầu bằng việc xem lại các mô tả benchmark được liên kết và thiết lập benchmark hiện có, nếu có; để hoàn thành, cần xác định phạm vi benchmark và có một kế hoạch cụ thể cho việc đánh giá cũng như xử lý môi trường.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

While we are starting with SWE-bench Verified, we should explore other python benchmarks. In increasing order of difficulty:

  • HumanEval: ~160 hand-crafted python functions. Difficulty - Easy
  • ODEX: Open-domain execution-based python. Library API use. Difficulty - Easy-Medium
  • BigCodeBench: ~1700 tasks using composition of the standard library + third-party libraries. Difficulty - Medium
  • LiveCodeBench: Competitive programming. Contamination resistant. Difficulty: Medium-Very Hard
  • SWE-bench Verified: 500 human-validated GitHub issues from real python repos. Difficulty: Hard

Warning: See paper for issues with memorization.

Agentic coverage:

  • SWT-Bench: Test generation for a given codebase. Includes categories like Test Generation, Test Repair, Coverage Improvement.
  • Terminal-Bench 2.0: Tasks in a terminal/shell environment.
  • FeatureBench: Feature request implementation and not just bug fixes.

Python DS code:

  • DS-1000: ~1000 data science problems in numpy, pandas, matplotlib, sklearn, pytorch, scipy.
  • MLE-bench: Kaggle competitions benchmark

Contamination resistance:

  • EvoEval: Semantic perturbations of HumanEval problems.

Possible curriculum for RL:

  1. Easy HumanEval -> EvoEval -> ODEX
  2. Medium BigCodeBench -> DS-1000 -> LiveCodeBench (easy/medium)
  3. Hard SWE-bench Verified -> SWT-Bench -> Terminal Bench 2.0
  4. Very Hard MLE-Bench -> LiveCodeBench (hard) -> FeatureBench

Important point about environment

Most of these benchmarks have examples that fit in the context window. For practical use, once codebases get large enough, retrieval plays an important role. Might need custom harness to reproduce this e.g. cap the number of files that can be read for any instance. Don't worry about this now!

Ngôn ngữ chính
Python
Star
1
Fork
4
Không có pull request nào được merge trong 30 ngày

Chuẩn bị môi trường

Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của redhat-et/code-agent

Tất cả issue của redhat-et/code-agent

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.