Validator: Improve Topic Relevance support
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 48/100
Direzione di ricerca
Inizia tracciando l’API di configurazione esistente e il workflow di creazione del validator standard Topic Relevance, quindi individua il punto in cui Topic Relevance (LLM) viene rifiutato perché non supportato. Confronta i due percorsi dei validator e verifica che il recupero, la creazione, l’elenco, l’ottenimento e la gestione delle configurazioni LLM restituiscano dati compatibili con i workflow del frontend.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Describe the current behavior
The frontend currently supports the Topic Relevance (LLM) validator, but there are a couple of backend limitations:
1. Configuration dropdown support
- The existing API used to fetch configurations for the Topic Relevance validator does not support the Topic Relevance (LLM) validator.
- When attempting to fetch configurations for Topic Relevance (LLM), the API returns a “validator not supported” error.
- As a result, users cannot select from existing configurations through a dropdown, unlike the standard Topic Relevance validator.
2. Create new configuration support
- The workflow for creating a new configuration is currently supported for the Topic Relevance validator only.
- Topic Relevance (LLM) configurations cannot be created, managed, or selected through the existing backend APIs.
Describe the enhancement you'd like
Add backend support for Topic Relevance (LLM) configuration management, including:
- Support fetching available configurations for the Topic Relevance (LLM) validator through the configuration API.
- Support creating new Topic Relevance (LLM) configurations.
- Support listing, retrieving, and managing Topic Relevance (LLM) configurations in the same way as the existing Topic Relevance validator.
- Ensure the APIs return data in a format compatible with the existing frontend configuration dropdown and creation workflows.
Additional context
The frontend implementation for the Guardrails UI updates assumes that Topic Relevance (LLM) behaves similarly to the existing Topic Relevance validator.
Current blockers observed:
- Fetching configurations for Topic Relevance (LLM) returns a “validator not supported” error.
- Creating new configurations for Topic Relevance (LLM) is not currently supported by the backend APIs.
The goal is to bring Topic Relevance (LLM) to feature parity with the existing Topic Relevance validator from a configuration management perspective.
- Lingua principale
- Python
- Stelle
- 5
- Fork
- 4
- Merge medio
- 11g 19h
- PR unite (30g)
- 1
Preparare l'ambiente
- Include un Dockerfile o un file Docker Compose
- Ha un modello di pull request
- Nessuna guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di ProjectTech4DevAI/kaapi-guardrails
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 65/100
-
Callback Enhancement: Include intermediate responsesForse di nuovo libera @Prajna1999 l’ha presa 32 giorni fa e non c’è nessuna pull request aperta. Aperta
ProjectTech4DevAI/kaapi-guardrails#158 · 1 assegnatario ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 55/100
Tutte le issue di ProjectTech4DevAI/kaapi-guardrails
Issue simili
-
feedback simulation workshop
Difficoltà 2/5 1-3 ore Idoneità per principianti 73/100
githubnext/gh-aw-workshop#4455 ·
I maintainer di solito rispondono entro 1 giorno
-
Triage 🩺
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
I maintainer di solito rispondono entro 1 giorno
-
[BUG] Container scenario crashes without expected_recovery_time, kube DNS example uses retry_waitApertaneeds-triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 77/100
krkn-chaos/krkn#1627 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
NousResearch/hermes-agent#136483 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
I maintainer di solito rispondono entro 1 giorno