BUG General self-ask scorers crash when the judge returns a category
Los mantenedores suelen responder en 2 días
@u7k4rs6 ya está trabajando en esto.
Desde el 28/9/2026.
Evaluación
- Dificultad
- 3/5
- Tiempo estimado
- 1-2 días
- Aptitud para principiantes
- 72/100
Línea de trabajo
Start by locating SelfAskGeneralFloatScaleScorer, SelfAskGeneralTrueFalseScorer, and their JsonSchemaResponseHandler construction. Review the existing response-category handling and related scorer tests, then verify that these two scorers use the response category as the fallback rule describes while other handlers retain the current error behavior.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
SelfAskGeneralFloatScaleScorer and SelfAskGeneralTrueFalseScorer crash when the judge returns a category and the scorer also has one configured.
Both docstrings say a category in the response is used, and the configured one only applies when the response has none. But they build a JsonSchemaResponseHandler that raises ValueError("Category is present in the response and an argument") when both are present. That isn't an InvalidJsonException, so there's no retry and scoring fails after one call:
category="harm", response {"score_value": "true", "rationale": "r", "category": "violence"}
-> RuntimeError ... ValueError: Category is present in the response and an argument (target calls: 1)
Fix: let these two scorers opt into "response category wins, configured is the fallback". Other handlers and scorers keep the current error.
- Lenguaje dominante
- Python
- Estrellas
- 4.6k
- Forks
- 944
- Merge medio
- 3 d 1 h
- PR fusionados (30 d)
- 278
Preparar el entorno
Inicia el contenedor de desarrollo del proyecto en tu navegador, con tu propia cuenta de GitHub.
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Sin guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de microsoft/PyRIT
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
Los mantenedores suelen responder en 2 días
-
BUG PuzzledConverter cannot select words carrying non-ASCII letters, so the mask falls on articles insteadPosiblemente ocupada @adimalkar la tomó hace 2 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
microsoft/PyRIT#3022 · 2 comentarios ·
Los mantenedores suelen responder en 2 días
-
BUG Configuration keeps runtime-status errors after polling recoversPosiblemente ocupada @joeyvictorino la tomó hoy. AbiertoBug: triage GUI help wanted
Dificultad 2/5 1-3 horas Aptitud para principiantes 86/100
microsoft/PyRIT#2868 · 3 comentarios ·
Los mantenedores suelen responder en 2 días
-
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
Los mantenedores suelen responder en 2 días
-
Dificultad 3/5 1-2 días Aptitud para principiantes 45/100
Los mantenedores suelen responder en 2 días
Todos los issues de microsoft/PyRIT
Issues similares
-
Let's Encrypt certificate neededAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 63/100
GAM-team/got-your-back#547 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
UKGovernmentBEIS/inspect_ai#5821 ·
Los mantenedores suelen responder en 1 día
-
docs help wanted
Dificultad 1/5 1-3 horas Aptitud para principiantes 75/100
-
evidence wanted good first issue help wanted
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
open-coder-ai/agentseam#195 ·
Los mantenedores suelen responder en 1 día
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 1 día