Propietario

edonadei

1 repositorio indexado · Ver en GitHub

caliper
Run your real agent with and without your skills, MCPs, and rules. See which ones actually help, and what they cost in tokens. Supports C...

Python · 181 estrellas

Para principiantes Todo

Abierto Todos

validate accepts a spec with no tasks, or with duplicate task names Abierto

area:spec bug good first issue ready-for-agent

Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100

edonadei/caliper#168 · Abierto el 24/9/2026
A timed-out hermes attempt still loses its transcript Abierto

area:harness bug ready-for-agent

Dificultad 3/5 1-2 días Aptitud para principiantes 65/100

edonadei/caliper#163 · Abierto el 24/9/2026
MCP preflight rejects servers that only speak 2026-07-28 Abierto

area:mcp enhancement question

Dificultad 3/5 1-2 días Aptitud para principiantes 65/100

edonadei/caliper#161 · Abierto el 24/9/2026
Sandbox judge-written scripts while preserving script mode Abierto

area:judge area:security enhancement

Dificultad 4/5 3-5 días Aptitud para principiantes 40/100

edonadei/caliper#158 · Abierto el 24/9/2026
Move in-repo specs off shared /tmp paths Abierto

area:spec bug good first issue ready-for-agent

Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100

edonadei/caliper#136 · Abierto el 23/9/2026
Jev-backed classify: findings, API and next steps (parked) Abierto

area:judge enhancement

Dificultad 5/5 Más de una semana Aptitud para principiantes 30/100

edonadei/caliper#126 · Abierto el 23/9/2026
Make backend smoke evals portable on Windows Abierto

area:spec bug ready-for-agent

Dificultad 3/5 1-2 días Aptitud para principiantes 70/100

edonadei/caliper#120 · Abierto el 22/9/2026
Windows: isolated attempts crash and codex reads the real account Abierto

area:harness area:security bug ready-for-agent

Dificultad 3/5 1-2 días Aptitud para principiantes 65/100

edonadei/caliper#112 · Abierto el 17/9/2026
Spec naming convention assumes a subject the model no longer has Abierto

area:spec documentation question

Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100

edonadei/caliper#82 · Abierto el 3/8/2026
Slash-command skills: invocation as a second loading discipline Abierto

area:spec enhancement question

Dificultad 4/5 3-5 días Aptitud para principiantes 45/100

edonadei/caliper#78 · Abierto el 3/8/2026
Classify judge API failures for codex / pi / hermes, one recorded fixture per backend Abierto

area:harness area:judge enhancement help wanted

Dificultad 3/5 1-2 días Aptitud para principiantes 65/100

edonadei/caliper#77 · Abierto el 26/7/2026
Report uncertainty: per-task confidence intervals on the score Abierto

area:scoring enhancement

Dificultad 4/5 3-5 días Aptitud para principiantes 45/100

edonadei/caliper#74 · Abierto el 19/7/2026
Add a pre-registered gate: declared bar + nonzero exit on failure Abierto

area:scoring enhancement question

Dificultad 4/5 3-5 días Aptitud para principiantes 45/100

edonadei/caliper#73 · Abierto el 19/7/2026
MCP support: emit a redacted MCP materialization receipt into the results JSON Abierto

area:mcp enhancement

Dificultad 3/5 1-2 días Aptitud para principiantes 55/100

edonadei/caliper#52 · 1 reacción · Abierto el 9/7/2026
Multi-turn / user-simulator harness for interview skills Abierto

area:harness enhancement

Dificultad 4/5 3-5 días Aptitud para principiantes 45/100

edonadei/caliper#16 · 2 comentarios · Abierto el 1/7/2026

edonadei

Recibe los nuevos issues en tu correo