Validator: Improve Topic Relevance support
Maintainer thường phản hồi trong vòng 10 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 3-5 ngày
- Mức phù hợp với người mới
- 48/100
Hướng nghiên cứu
Bắt đầu bằng cách lần theo API cấu hình hiện có và quy trình tạo validator Topic Relevance tiêu chuẩn, sau đó xác định nơi Topic Relevance (LLM) bị từ chối vì không được hỗ trợ. So sánh hai luồng validator và xác minh rằng việc lấy, tạo, liệt kê, truy xuất và quản lý các cấu hình LLM trả về dữ liệu tương thích với các workflow của frontend.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Describe the current behavior
The frontend currently supports the Topic Relevance (LLM) validator, but there are a couple of backend limitations:
1. Configuration dropdown support
- The existing API used to fetch configurations for the Topic Relevance validator does not support the Topic Relevance (LLM) validator.
- When attempting to fetch configurations for Topic Relevance (LLM), the API returns a “validator not supported” error.
- As a result, users cannot select from existing configurations through a dropdown, unlike the standard Topic Relevance validator.
2. Create new configuration support
- The workflow for creating a new configuration is currently supported for the Topic Relevance validator only.
- Topic Relevance (LLM) configurations cannot be created, managed, or selected through the existing backend APIs.
Describe the enhancement you'd like
Add backend support for Topic Relevance (LLM) configuration management, including:
- Support fetching available configurations for the Topic Relevance (LLM) validator through the configuration API.
- Support creating new Topic Relevance (LLM) configurations.
- Support listing, retrieving, and managing Topic Relevance (LLM) configurations in the same way as the existing Topic Relevance validator.
- Ensure the APIs return data in a format compatible with the existing frontend configuration dropdown and creation workflows.
Additional context
The frontend implementation for the Guardrails UI updates assumes that Topic Relevance (LLM) behaves similarly to the existing Topic Relevance validator.
Current blockers observed:
- Fetching configurations for Topic Relevance (LLM) returns a “validator not supported” error.
- Creating new configurations for Topic Relevance (LLM) is not currently supported by the backend APIs.
The goal is to bring Topic Relevance (LLM) to feature parity with the existing Topic Relevance validator from a configuration management perspective.
- Ngôn ngữ chính
- Python
- Star
- 5
- Fork
- 3
- Merge trung bình
- 9 ngày 13 giờ
- Pull request đã merge (30 ngày)
- 2
Chuẩn bị môi trường
Chúng tôi chưa kiểm tra các tệp thiết lập môi trường của dự án này. Hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của ProjectTech4DevAI/kaapi-guardrails
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
ProjectTech4DevAI/kaapi-guardrails#94 ·
Maintainer thường phản hồi trong vòng 10 ngày
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 65/100
ProjectTech4DevAI/kaapi-guardrails#23 ·
Maintainer thường phản hồi trong vòng 10 ngày
-
Callback Enhancement: Include intermediate responsesCó thể đã có người làm @Prajna1999 đã nhận 19 ngày trước. Đang mở
ProjectTech4DevAI/kaapi-guardrails#158 · 1 người được giao ·
Maintainer thường phản hồi trong vòng 10 ngày
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 45/100
ProjectTech4DevAI/kaapi-guardrails#144 ·
Maintainer thường phản hồi trong vòng 10 ngày
-
Kaapi Console: Display config idĐang mở
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 55/100
ProjectTech4DevAI/kaapi-guardrails#137 ·
Maintainer thường phản hồi trong vòng 10 ngày
Tất cả issue của ProjectTech4DevAI/kaapi-guardrails
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
-
bug
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 88/100
qgis/QGIS-Plugins-Website#459 ·
-
bug severity:medium
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 2 ngày
-
bot-found bug priority: P3
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100
madenvel/KalinkaPlayer#179 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
ls1intum/edutelligence#1098 ·
Maintainer thường phản hồi trong vòng 1 ngày