[Feature Request] - Allow For Local Evals
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 48/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Sôi nổi
- Công nghệ
- aws, typescript
Hướng nghiên cứu
Bắt đầu với việc xử lý lệnh agentcore CLI cho evals và lệnh agentcore dev, sau đó kiểm tra cách telemetry được lưu trữ trong thư mục .cli và cách agentcore.json định nghĩa một agent và evaluator. Công việc được xem là hoàn tất khi người dùng có thể chạy evals từ một agentcore.json chứa cả hai mà không cần triển khai agent lên tài khoản AWS.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Description
Currently the agentcore CLI requires a deployed agent to execute evals. Considering the agentcore dev command can spin up the agent locally and stores the telemetry in the .cli folder it would be great if the agentcore CLI supported local evaluation executions.
Acceptance Criteria
- When an agent and evaluator exists in the agentcore.json a user is able to run evals without first deploying the agent to their AWS account
Additional Context
No response
- Ngôn ngữ chính
- TypeScript
- Star
- 298
- Fork
- 99
- Merge trung bình
- 17 giờ 36 phút
- Pull request đã merge (30 ngày)
- 226
Chuẩn bị môi trường
- Không có Dockerfile hay tệp Docker Compose
- Có mẫu pull request
- Đọc hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của aws/agentcore-cli
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
aws/agentcore-cli#2395 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
aws/agentcore-cli#2392 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
aws/agentcore-cli#2267 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
aws/agentcore-cli#2258 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
aws/agentcore-cli#2176 ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của aws/agentcore-cli
Issue tương tự
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 78/100
lichess-org/api#678 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100
PostHog/posthog.com#20628 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
bug status:Needs Triage
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 92/100
jupyterlab/jupyterlab#19964 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
agentscope-ai/QwenPaw#8064 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
area: notebooks-jupyter bug theme: new notebook frontend
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 88/100
posit-dev/positron#16347 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày