Guardrails: Topic relevance evaluation
Maintainer thường phản hồi trong vòng 3 ngày
@AkhileshNegi đang làm issue này rồi.
Từ ngày 30/4/2026.
Đánh giá
Issue này chưa được đánh giá.
Mô tả
Is your feature request related to a problem?
We need to ensure that the assistant provides relevant responses in SNEHA's program domains and avoids off-topic queries. This is crucial for maintaining the quality of interactions in real-world scenarios.
Describe the solution you'd like
- Run the topic relevance guardrail from
kaapi-guardrailson a randomly sampled subset of ~14,605 conversations of SNEHA. - Start with 100 conversations to refine the prompt, then 500, and finally ~1.5k (~10% sampling).
- Document results since we don't yet have annotations or a known on-topic/off-topic ratio to stratify on.
- Ngôn ngữ chính
- Python
- Star
- 5
- Fork
- 4
- Merge trung bình
- 6 ngày 1 giờ
- Pull request đã merge (30 ngày)
- 10
Chuẩn bị môi trường
- Có Dockerfile hoặc tệp Docker Compose
- Có mẫu pull request
- Không có hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của ProjectTech4DevAI/kaapi-guardrails
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
ProjectTech4DevAI/kaapi-guardrails#94 ·
Maintainer thường phản hồi trong vòng 3 ngày
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 65/100
ProjectTech4DevAI/kaapi-guardrails#23 ·
Maintainer thường phản hồi trong vòng 3 ngày
-
PII Remover: Fix validator on_fail errorCó thể đã có người làm @AkhileshNegi đã nhận 3 ngày trước. Đang mởbug
ProjectTech4DevAI/kaapi-guardrails#167 · 1 người được giao ·
Maintainer thường phản hồi trong vòng 3 ngày
-
Callback Enhancement: Include intermediate responsesCó thể làm lại được @Prajna1999 đã nhận 39 ngày trước và không có pull request nào đang mở. Đang mở
ProjectTech4DevAI/kaapi-guardrails#158 · 1 người được giao ·
Maintainer thường phản hồi trong vòng 3 ngày
-
Kaapi Console: Display config idĐang mở
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 55/100
ProjectTech4DevAI/kaapi-guardrails#137 ·
Maintainer thường phản hồi trong vòng 3 ngày
Tất cả issue của ProjectTech4DevAI/kaapi-guardrails
Issue tương tự
-
bug Size: XS
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
oposs/repo-infra#93 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 69/100
Graphify-Labs/graphify#4546 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 65/100
521xueweihan/HelloGitHub#4025 ·