Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

BUG HarmBench loader drops ContextString, so contextual behaviors are sent without their context

Abierto Apto para principiantes
#2,817 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
2/5
Tiempo estimado
1-3 horas
Aptitud para principiantes
74/100
Tipo de issue
Error
Claridad
Bastante claro
Estado de actividad
Activo
Stack tecnológico
python
Área
ai

Línea de trabajo

Localiza el cargador de HarmBench y lee baselines/direct_request/direct_request.py, que muestra la combinación de entrada de referencia. Verifica que los comportamientos contextuales lleguen al objetivo tanto con ContextString como con Behavior y, después, ejecuta las pruebas relevantes de HarmBench o del cargador; el trabajo estará terminado cuando los objetivos contextuales incluyan su contexto sin afectar a los comportamientos no contextuales.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

100 of the 400 HarmBench behaviors are "contextual" and only make sense with their ContextString ("Modify this blind SQL injection code...", "Given this section of the Wikipedia article..."). The loader only uses Behavior, so the context ends up in metadata that nothing reads, and a quarter of HarmBench objectives point at text the target never sees. HarmBench is the default dataset for a few scenarios (jailbreak, multilingual, red team agent, the adversarial benchmark), so this comes up a lot.

HarmBench itself combines them as f"{context_str}\n\n---\n\n{behavior}" in baselines/direct_request/direct_request.py. I'd suggest doing the same.

Lenguaje dominante
Python
Estrellas
4.5k
Forks
896
Merge medio
3 d 8 h
PR fusionados (30 d)
191

Guía de contribución

No hay ninguna guía de contribución indexada para este repositorio

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de microsoft/PyRIT

Todos los issues de microsoft/PyRIT

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.