EvalScope integration: one-command evaluation support for MiniMax-Vendor-Verifier
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 1/5
- Thời gian dự kiến
- Dưới một giờ
- Mức phù hợp với người mới
- 64/100
- Loại issue
- Tài liệu
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Ít trao đổi
- Lĩnh vực
- documentation
Hướng nghiên cứu
Bắt đầu bằng cách xác định khu vực README hoặc tài liệu nơi một ghi chú về quy trình đánh giá sẽ phù hợp, sau đó xem lại tài liệu benchmark EvalScope được liên kết và lệnh ví dụ. Công việc được hoàn thành khi người dùng có thể tìm thấy tích hợp EvalScope, hiểu lệnh và các placeholder của lệnh, cũng như truy cập các liên kết được cung cấp.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Hi MiniMax-AI/MiniMax-Provider-Verifier maintainers,
EvalScope now supports MiniMax-Vendor-Verifier. This gives users another way to run the benchmark when they want a standardized evaluation workflow around OpenAI-compatible model endpoints, saved predictions, scoring, and report generation.
This may be useful for users who find this repository while setting up MiniMax-Vendor-Verifier and want a quick path to evaluate a hosted or locally served model.
Example:
evalscope eval \
--model YOUR_MODEL \
--api-url OPENAI_API_COMPAT_URL \
--api-key EMPTY_TOKEN \
--datasets minimax_verifier \
--limit 10
Docs: https://evalscope.readthedocs.io/en/latest/benchmarks/minimax_verifier.html
EvalScope repo: https://github.com/modelscope/evalscope
We can also open a small PR adding this as a README/Docs note, linked to this issue.
- Ngôn ngữ chính
- Python
- Star
- 51
- Fork
- 14
- Merge trung bình
- 1 ngày 3 giờ
- Pull request đã merge (30 ngày)
- 4
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Không có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của MiniMax-AI/MiniMax-Provider-Verifier
-
搞个实时排行榜呗Đang mởenhancement
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 15/100
Tất cả issue của MiniMax-AI/MiniMax-Provider-Verifier
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100
PedestrianDynamics/pyFDS-Evac#343 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
theskumar/python-dotenv#708 ·
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 88/100
Maintainer thường phản hồi trong vòng 2 ngày
-
Docs Timedelta
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
pandas-dev/pandas#69919 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
API documentation
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
zephyrproject-rtos/west#1009 · 2 bình luận ·
Maintainer thường phản hồi trong vòng 3 ngày