Guardrails: Topic relevance evaluation
@AkhileshNegi がすでに取り組んでいます。
2026年4月30日 から。
評価
この issue はまだ評価されていません。
説明
Is your feature request related to a problem?
We need to ensure that the assistant provides relevant responses in SNEHA's program domains and avoids off-topic queries. This is crucial for maintaining the quality of interactions in real-world scenarios.
Describe the solution you'd like
- Run the topic relevance guardrail from
kaapi-guardrailson a randomly sampled subset of ~14,605 conversations of SNEHA. - Start with 100 conversations to refine the prompt, then 500, and finally ~1.5k (~10% sampling).
- Document results since we don't yet have annotations or a known on-topic/off-topic ratio to stratify on.
- 主要言語
- Python
- スター
- 5
- フォーク
- 3
- 平均マージ
- 9日 13時間
- マージ済み PR（30日）
- 2
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
ProjectTech4DevAI/kaapi-guardrails のほかの issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
-
難易度 1/5 1時間未満 初心者へのやさしさ 65/100
-
ProjectTech4DevAI/kaapi-guardrails#158 · 担当者 1 名 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 45/100
-
難易度 3/5 1〜2日 初心者へのやさしさ 55/100
ProjectTech4DevAI/kaapi-guardrails の issue をすべて見る
似ている issue
-
agent-ready documentation needs-triage
難易度 1/5 1〜3時間 初心者へのやさしさ 88/100
-
documentation
難易度 1/5 1時間未満 初心者へのやさしさ 91/100
-
workflow-status page template still says reusable workflows are "triggered only by workflow_call:" オープン
難易度 1/5 1時間未満 初心者へのやさしさ 92/100
-
instance instance add
難易度 1/5 1時間未満 初心者へのやさしさ 72/100
searxng/searx-instances#939 · コメント 1 件 ·
-
area-deployment area-integrations triage:bot-seen
難易度 2/5 半日 初心者へのやさしさ 86/100