Proprietario

edonadei

1 repository indicizzato · Vedi su GitHub

caliper
Run your real agent with and without your skills, MCPs, and rules. See which ones actually help, and what they cost in tokens. Supports C...

Python · 181 stelle

Adatte ai principianti Tutto

Aperta Tutte

validate accepts a spec with no tasks, or with duplicate task names Aperta

area:spec bug good first issue ready-for-agent

Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100

edonadei/caliper#168 · Aperta il 24/9/2026
A timed-out hermes attempt still loses its transcript Aperta

area:harness bug ready-for-agent

Difficoltà 3/5 1-2 giorni Idoneità per principianti 65/100

edonadei/caliper#163 · Aperta il 24/9/2026
MCP preflight rejects servers that only speak 2026-07-28 Aperta

area:mcp enhancement question

Difficoltà 3/5 1-2 giorni Idoneità per principianti 65/100

edonadei/caliper#161 · Aperta il 24/9/2026
Sandbox judge-written scripts while preserving script mode Aperta

area:judge area:security enhancement

Difficoltà 4/5 3-5 giorni Idoneità per principianti 40/100

edonadei/caliper#158 · Aperta il 24/9/2026
Move in-repo specs off shared /tmp paths Aperta

area:spec bug good first issue ready-for-agent

Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100

edonadei/caliper#136 · Aperta il 23/9/2026
Jev-backed classify: findings, API and next steps (parked) Aperta

area:judge enhancement

Difficoltà 5/5 Più di una settimana Idoneità per principianti 30/100

edonadei/caliper#126 · Aperta il 23/9/2026
Make backend smoke evals portable on Windows Aperta

area:spec bug ready-for-agent

Difficoltà 3/5 1-2 giorni Idoneità per principianti 70/100

edonadei/caliper#120 · Aperta il 22/9/2026
Windows: isolated attempts crash and codex reads the real account Aperta

area:harness area:security bug ready-for-agent

Difficoltà 3/5 1-2 giorni Idoneità per principianti 65/100

edonadei/caliper#112 · Aperta il 17/9/2026
Spec naming convention assumes a subject the model no longer has Aperta

area:spec documentation question

Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100

edonadei/caliper#82 · Aperta il 3/8/2026
Slash-command skills: invocation as a second loading discipline Aperta

area:spec enhancement question

Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100

edonadei/caliper#78 · Aperta il 3/8/2026
Classify judge API failures for codex / pi / hermes, one recorded fixture per backend Aperta

area:harness area:judge enhancement help wanted

Difficoltà 3/5 1-2 giorni Idoneità per principianti 65/100

edonadei/caliper#77 · Aperta il 26/7/2026
Report uncertainty: per-task confidence intervals on the score Aperta

area:scoring enhancement

Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100

edonadei/caliper#74 · Aperta il 19/7/2026
Add a pre-registered gate: declared bar + nonzero exit on failure Aperta

area:scoring enhancement question

Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100

edonadei/caliper#73 · Aperta il 19/7/2026
MCP support: emit a redacted MCP materialization receipt into the results JSON Aperta

area:mcp enhancement

Difficoltà 3/5 1-2 giorni Idoneità per principianti 55/100

edonadei/caliper#52 · 1 reazione · Aperta il 9/7/2026
Multi-turn / user-simulator harness for interview skills Aperta

area:harness enhancement

Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100

edonadei/caliper#16 · 2 commenti · Aperta il 1/7/2026

edonadei

Ricevi le nuove issue nella tua casella