Evaluation: Update improve-prompt to v2
メンテナーはふだん 1 日以内に返信
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 68/100
- issue の種類
- 機能追加
- 明瞭さ
- おおむね明確
- 活発さ
- 活発
- 技術スタック
- typescript
調査の方向性
app/api/evaluations/[id]/improve-prompt/route.ts から始めて callback_url の解決を追跡し、次に /api/webhooks/prompt-improvement と利用可能な PromptRecommendationJobPublic の形を調べます。評価済み実行のガードと v2 リクエストを検証し、callback body の形を維持し、recommendation_type: "prompt" を処理し、v1 の実行が 422 not_a_judge_run を返すことを確認します。
索引モデルが issue の本文から書いたものです。
説明
Is your feature request related to a problem?
The improve-prompt currently uses v1, which relies on cosine scores. This limits the ability to provide users with a more comprehensive recommendation based on better metrics available in v2.
Describe the solution you'd like
- Redirect
app/api/evaluations/[id]/improve-prompt/route.tstoPOST /api/v2/evaluations/{evaluation_id}/improve-prompt - Maintain existing
callback_urlresolution and/api/webhooks/prompt-improvementreceiver with unchanged body shape - Implement handling for
PromptRecommendationJobPubliccallback:recommendation_type: "prompt" - Restrict action to judged runs; return
422 not_a_judge_runfor v1 runs
Original issue
Is your feature request related to a problem?
Improve-prompt proxies to v1, which drafts from cosine scores. v2 drafts from the three-metric judge trace (score + reasoning per metric) and returns a typed recommendation, so the console gets a better prompt and a reason for it.
Describe the solution you'd like
- Point
app/api/evaluations/[id]/improve-prompt/route.tsatPOST /api/v2/evaluations/{evaluation_id}/improve-prompt - Keep the existing
callback_urlresolution and/api/webhooks/prompt-improvementreceiver — the body shape is unchanged - Handle the
PromptRecommendationJobPubliccallback:recommendation_type: "prompt"(widening to a union later) - Only offer the action on judged runs; surface
422 not_a_judge_runif it's attempted on a v1 run
Parent: #265
- 主要言語
- TypeScript
- スター
- 1
- フォーク
- 0
- 平均マージ
- 19時間 4分
- マージ済み PR（30日）
- 6
環境構築
- Dockerfile・Docker Compose ファイルなし
- プルリクエストのテンプレートあり
- コントリビューションガイドなし
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
ProjectTech4DevAI/kaapi-frontend のほかの issue
-
Evaluation: Simplify RunEvaluationForm対応中かも @kaapi-agent-bot が 18 日前に担当しました。 オープンenhancement
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
ProjectTech4DevAI/kaapi-frontend#267 ·
メンテナーはふだん 1 日以内に返信
-
Evaluation: Redirect dataset uploads対応中かも @kaapi-agent-bot が 18 日前に担当しました。 オープンenhancement
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
ProjectTech4DevAI/kaapi-frontend#266 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
Chat: Update primary button style対応中かも @kaapi-agent-bot が 19 日前に担当しました。 オープン
難易度 1/5 1時間未満 初心者へのやさしさ 90/100
ProjectTech4DevAI/kaapi-frontend#261 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
ProjectTech4DevAI/kaapi-frontend#258 · コメント 3 件 ·
メンテナーはふだん 1 日以内に返信
-
Assessment: Include input columns in results対応中かも @vprashrex が 13 日前に担当しました。 オープンbug enhancement
ProjectTech4DevAI/kaapi-frontend#286 · 担当者 1 名 ·
メンテナーはふだん 1 日以内に返信
ProjectTech4DevAI/kaapi-frontend の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
prime-radiant-inc/evener#3726 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
FuRongJun-1999/dsh-memory#56 ·
メンテナーはふだん 1 日以内に返信
-
bug via-triage
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
pingdotgg/t3code#15682 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
openwatersio/slackwater.xyz#152 ·
メンテナーはふだん 1 日以内に返信
-
[BUG] 请修改标题为您遇到的问题オープンbug
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
OpenListTeam/OpenList-Worker#103 ·
メンテナーはふだん 1 日以内に返信