Evaluation: Update improve-prompt to v2

Đang mở
#273 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
68/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
typescript
Lĩnh vực
api, backend

Hướng nghiên cứu

Bắt đầu với app/api/evaluations/[id]/improve-prompt/route.ts và lần theo việc phân giải callback_url, sau đó kiểm tra /api/webhooks/prompt-improvement và dạng PromptRecommendationJobPublic hiện có. Xác minh guard cho các lần chạy được đánh giá và request v2, giữ nguyên dạng body của callback, xử lý recommendation_type: "prompt", và xác nhận các lần chạy v1 trả về 422 not_a_judge_run.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

enhancement

Is your feature request related to a problem?
The improve-prompt currently uses v1, which relies on cosine scores. This limits the ability to provide users with a more comprehensive recommendation based on better metrics available in v2.

Describe the solution you'd like

  • Redirect app/api/evaluations/[id]/improve-prompt/route.ts to POST /api/v2/evaluations/{evaluation_id}/improve-prompt
  • Maintain existing callback_url resolution and /api/webhooks/prompt-improvement receiver with unchanged body shape
  • Implement handling for PromptRecommendationJobPublic callback: recommendation_type: "prompt"
  • Restrict action to judged runs; return 422 not_a_judge_run for v1 runs
Original issue

Is your feature request related to a problem?
Improve-prompt proxies to v1, which drafts from cosine scores. v2 drafts from the three-metric judge trace (score + reasoning per metric) and returns a typed recommendation, so the console gets a better prompt and a reason for it.

Describe the solution you'd like

  • Point app/api/evaluations/[id]/improve-prompt/route.ts at POST /api/v2/evaluations/{evaluation_id}/improve-prompt
  • Keep the existing callback_url resolution and /api/webhooks/prompt-improvement receiver — the body shape is unchanged
  • Handle the PromptRecommendationJobPublic callback: recommendation_type: "prompt" (widening to a union later)
  • Only offer the action on judged runs; surface 422 not_a_judge_run if it's attempted on a v1 run

Parent: #265

Ngôn ngữ chính
TypeScript
Star
1
Fork
0
Merge trung bình
19 giờ 4 phút
Pull request đã merge (30 ngày)
6

Hướng dẫn đóng góp

Chưa lập chỉ mục được hướng dẫn đóng góp cho kho mã nguồn này

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của ProjectTech4DevAI/kaapi-frontend

Tất cả issue của ProjectTech4DevAI/kaapi-frontend

Issue tương tự

Thêm issue về TypeScript

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.