PolicyEngine/policybench

Ver en GitHub

LLM benchmark for public policy

Estrellas: 2
Forks: 3
Issues abiertos para principiantes: 0
Issues indexados: 15
Merge medio: 12 h 7 min
PR fusionados (30 d): 13

Lenguaje dominante: Python
Licencia: Unlicense
Último push a GitHub: 6/9/2026
Última indexación: 19/9/2026
Guía de contribución: Guía de contribución
Código de conducta: Sin código de conducta
Etiquetas para principiantes: Sin etiquetas para principiantes indexadas

Para principiantes Todo

Abierto Todos

v2 prompt and data: program-specific disability facts, integer inputs, and the take-up boundary Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 38/100

PolicyEngine/policybench#165 · Abierto el 5/9/2026
Explanation contract is unenforced — set the v2 scoring policy Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

PolicyEngine/policybench#145 · 1 comentario · Abierto el 10/8/2026
Record Anthropic thinking tokens from the raw response (litellm reports 0) Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 52/100

PolicyEngine/policybench#140 · Abierto el 8/8/2026
v2 board condition: move every model to tool_choice auto Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100

PolicyEngine/policybench#139 · 2 comentarios · Abierto el 8/8/2026
Supervisor budget meter ignores PRICE_OVERRIDES_PER_1M Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 68/100

PolicyEngine/policybench#129 · Abierto el 22/7/2026
Restore public cost reporting with cumulative, comparable accounting Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

PolicyEngine/policybench#118 · Abierto el 9/7/2026
Scenario refresh: state SSA disability status and dependent relationships explicitly Abierto

Dificultad 3/5 1-2 días Aptitud para principiantes 55/100

PolicyEngine/policybench#111 · Abierto el 7/7/2026
Batch rerun on a completed run dir replays early rounds and regresses the CSV Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 52/100

PolicyEngine/policybench#102 · Abierto el 5/7/2026
scenario_121 encodes disability in inputs PE does not map to USDA disability, zeroing SNAP Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

PolicyEngine/policybench#92 · Abierto el 2/7/2026
Triage 16 reference-suspect cases from the Claude 5 failure audit Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 42/100

PolicyEngine/policybench#91 · 2 comentarios · Abierto el 2/7/2026
Make Claude runs parallel-safe by moving the hard timeout to the chunk subprocess Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 58/100

PolicyEngine/policybench#84 · Abierto el 2/7/2026
Child slot labels should be youngest-first, not oldest-first Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 55/100

PolicyEngine/policybench#50 · Abierto el 19/5/2026
Align benchmark prompts with PolicyEngine target-year input values Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 48/100

PolicyEngine/policybench#19 · 3 comentarios · Abierto el 14/5/2026
Determinism and reproducibility hardening Abierto

Dificultad 5/5 Más de una semana Aptitud para principiantes 35/100

PolicyEngine/policybench#6 · Abierto el 2/5/2026
Keep DeepSeek out of public leaderboard until benchmark requests complete reliably Abierto

Dificultad 4/5 3-5 días Aptitud para principiantes 45/100

PolicyEngine/policybench#4 · Abierto el 1/5/2026

PolicyEngine/policybench

Recibe los nuevos issues en tu correo