patsypppe/meridian

登录后关注 在 GitHub 查看

Agent evaluation harness for CI. Grades from outside the container, reports pass^k instead of a mean, and tells you when the run could not have detected the regression.

patsypppe/meridian 对新手友好吗？

patsypppe/meridian 的维护者通常 1 天内回复 PR。 目前没有开放的新手友好 issue，下方列出了我们收录的该仓库的其他 issue。

星标
0
派生
0
开放的新手 issue
0
已索引 issue
127
平均合并
1 小时 54 分钟
30 天内合并 PR
14
主要语言
Python
许可证
MIT
最近 GitHub push
2026年11月4日
最近索引
2026年11月4日
贡献指南
行为准则
新手标签
good first issue help wanted

如何为 patsypppe/meridian 做贡献

  1. 先读贡献指南：它说明了维护者希望如何提出、测试和评审改动。
  2. 项目提供 Dockerfile 或 Docker Compose 文件，不必安装整套工具链就能跑起来。
  3. 读一下行为准则：它同样适用于 issue 和 PR，而不只是聊天。
  4. 关注这个仓库，有新的新手友好 issue 时就能知道；也可以看看下方的其他 issue。
适合新手 全部
未关闭 全部

可能已有人在做的 issue 排在最后。 全部按时间排序

  • Tests wanted: start here
    未关闭
    • 哪里不对？
    area: tests help wanted tests

    难度 1/5 1 小时以内 新手友好度 25/100

    patsypppe/meridian#166 ·

    维护者通常 1 天内回复

  • Integration test: a credential never reaches a trial
    未关闭
    • 哪里不对？
    area: security area: tests size: S tests

    难度 2/5 1-3 小时 新手友好度 84/100

    patsypppe/meridian#165 ·

    维护者通常 1 天内回复

  • Integration test: grader-only files never reach the trial
    未关闭
    • 哪里不对？
    area: grading area: security area: tests size: M tests

    难度 3/5 1-2 天 新手友好度 74/100

    patsypppe/meridian#164 ·

    维护者通常 1 天内回复

  • Detect flaky integration tests
    未关闭
    • 哪里不对？
    area: ci size: S tests

    难度 3/5 1-2 天 新手友好度 66/100

    patsypppe/meridian#163 ·

    维护者通常 1 天内回复

  • Run unit tests in random order
    未关闭
    • 哪里不对？
    area: ci good first issue size: XS tests

    难度 3/5 1-2 天 新手友好度 72/100

    patsypppe/meridian#162 ·

    维护者通常 1 天内回复

  • Mutation testing for the statistics module
    未关闭
    • 哪里不对？
    area: stats area: tests help wanted size: M tests

    难度 3/5 1-2 天 新手友好度 67/100

    patsypppe/meridian#161 ·

    维护者通常 1 天内回复

  • Dashboard: accept run files with extra fields
    未关闭
    • 哪里不对？
    area: dashboard area: tests good first issue size: XS tests

    难度 1/5 1-3 小时 新手友好度 88/100

    patsypppe/meridian#160 ·

    维护者通常 1 天内回复

  • Component tests for the dashboard's charts and comparison
    未关闭
    • 哪里不对？
    area: dashboard area: tests good first issue size: S tests

    难度 2/5 1-3 小时 新手友好度 76/100

    patsypppe/meridian#159 ·

    维护者通常 1 天内回复

  • Tests for the dashboard's formatting helpers
    未关闭
    • 哪里不对？
    area: dashboard area: tests good first issue size: XS tests

    难度 2/5 1-3 小时 新手友好度 88/100

    patsypppe/meridian#158 ·

    维护者通常 1 天内回复

  • Test the gate comment with harness-error causes
    未关闭
    • 哪里不对？
    area: gate area: tests good first issue size: S tests

    难度 1/5 1-3 小时 新手友好度 85/100

    patsypppe/meridian#157 ·

    维护者通常 1 天内回复

  • Test the HTML report with harness-error causes
    未关闭
    • 哪里不对？
    area: tests good first issue size: S tests

    难度 2/5 1-3 小时 新手友好度 86/100

    patsypppe/meridian#156 ·

    维护者通常 1 天内回复

  • Golden tests for the importer against real Harbor tasks
    未关闭
    • 哪里不对？
    area: importer area: tests help wanted size: M tests

    难度 3/5 1-2 天 新手友好度 74/100

    patsypppe/meridian#155 ·

    维护者通常 1 天内回复

  • More translation cases for the OpenAI-compatible proxy
    未关闭
    • 哪里不对？
    area: proxy area: tests good first issue size: S tests

    难度 2/5 1-3 小时 新手友好度 88/100

    patsypppe/meridian#154 ·

    维护者通常 1 天内回复

  • Test the grading sandbox's command construction
    未关闭
    • 哪里不对？
    area: grading area: tests good first issue size: S tests

    难度 2/5 1-3 小时 新手友好度 75/100

    patsypppe/meridian#153 ·

    维护者通常 1 天内回复

  • Test how the proxy container's environment is built
    未关闭
    • 哪里不对？
    area: proxy area: tests size: S tests

    难度 2/5 1-3 小时 新手友好度 82/100

    patsypppe/meridian#152 ·

    维护者通常 1 天内回复

  • Test snapshot digest resolution
    未关闭
    • 哪里不对？
    area: tests good first issue size: S tests

    难度 2/5 1-3 小时 新手友好度 88/100

    patsypppe/meridian#151 ·

    维护者通常 1 天内回复

  • Test that replay detects a changed input
    未关闭
    • 哪里不对？
    area: tests size: M tests

    难度 2/5 1-3 小时 新手友好度 85/100

    patsypppe/meridian#150 ·

    维护者通常 1 天内回复

  • Round-trip test for saving and loading a run archive
    未关闭
    • 哪里不对？
    area: tests good first issue size: S tests

    难度 2/5 1-3 小时 新手友好度 85/100

    patsypppe/meridian#149 ·

    维护者通常 1 天内回复

  • Test configuration loading and environment overrides
    未关闭
    • 哪里不对？
    area: tests good first issue size: S tests

    难度 2/5 1-3 小时 新手友好度 78/100

    patsypppe/meridian#148 ·

    维护者通常 1 天内回复

  • Unit-test the LangGraph adapter with a fake graph
    未关闭
    • 哪里不对？
    area: agent area: tests good first issue size: S tests

    难度 2/5 1-3 小时 新手友好度 85/100

    patsypppe/meridian#147 ·

    维护者通常 1 天内回复

  • Unit-test the subprocess adapter
    未关闭
    • 哪里不对？
    area: tests good first issue size: S tests

    难度 2/5 1-3 小时 新手友好度 86/100

    patsypppe/meridian#146 ·

    维护者通常 1 天内回复

  • Unit-test the in-container entrypoint
    未关闭
    • 哪里不对？
    area: runtime area: tests good first issue size: S tests

    难度 2/5 1-3 小时 新手友好度 84/100

    patsypppe/meridian#145 ·

    维护者通常 1 天内回复

  • Write a threat model
    未关闭
    • 哪里不对？
    area: docs area: security documentation size: M

    难度 2/5 1-3 小时 新手友好度 78/100

    patsypppe/meridian#143 ·

    维护者通常 1 天内回复

  • Drive the showcase page's real-model section from data
    未关闭
    • 哪里不对？
    area: site enhancement size: S

    难度 2/5 1-3 小时 新手友好度 76/100

    patsypppe/meridian#142 ·

    维护者通常 1 天内回复

  • Remember the last loaded run
    未关闭
    • 哪里不对？
    area: dashboard enhancement good first issue size: XS

    难度 2/5 1-3 小时 新手友好度 82/100

    patsypppe/meridian#141 ·

    维护者通常 1 天内回复

  • Light/dark toggle in the dashboard
    未关闭
    • 哪里不对？
    area: dashboard enhancement good first issue size: S

    难度 3/5 1-2 天 新手友好度 67/100

    patsypppe/meridian#140 ·

    维护者通常 1 天内回复

  • Highlight the drop zone while dragging a file
    未关闭
    • 哪里不对？
    accessibility area: dashboard enhancement good first issue size: XS

    难度 2/5 1-3 小时 新手友好度 85/100

    patsypppe/meridian#139 ·

    维护者通常 1 天内回复

  • Add an error boundary to the dashboard
    未关闭
    • 哪里不对？
    area: dashboard enhancement good first issue size: XS

    难度 2/5 1-3 小时 新手友好度 82/100

    patsypppe/meridian#138 ·

    维护者通常 1 天内回复

  • Add ESLint and Prettier to the dashboard
    未关闭
    • 哪里不对？
    area: ci area: dashboard enhancement good first issue size: S

    难度 3/5 1-2 天 新手友好度 75/100

    patsypppe/meridian#137 ·

    维护者通常 1 天内回复

  • Paired significance test in the comparison view
    未关闭
    • 哪里不对？
    area: dashboard area: stats enhancement size: M

    难度 4/5 3-5 天 新手友好度 55/100

    patsypppe/meridian#136 ·

    维护者通常 1 天内回复

  • Export the task table and comparison
    未关闭
    • 哪里不对？
    area: dashboard enhancement good first issue size: S

    难度 2/5 1-3 小时 新手友好度 84/100

    patsypppe/meridian#135 ·

    维护者通常 1 天内回复

  • Show efficiency numbers per task
    未关闭
    • 哪里不对？
    area: dashboard enhancement good first issue size: S

    难度 2/5 1-3 小时 新手友好度 85/100

    patsypppe/meridian#134 ·

    维护者通常 1 天内回复

  • Show a trial's details when you click it
    未关闭
    • 哪里不对？
    area: dashboard enhancement size: M

    难度 2/5 1-3 小时 新手友好度 84/100

    patsypppe/meridian#133 ·

    维护者通常 1 天内回复

  • Load a run in the dashboard from a URL
    未关闭
    • 哪里不对？
    area: dashboard enhancement good first issue size: S

    难度 3/5 1-2 天 新手友好度 72/100

    patsypppe/meridian#132 ·

    维护者通常 1 天内回复

  • Recover efficiency numbers for timed-out trials
    未关闭
    • 哪里不对？
    area: agent area: runtime enhancement size: S

    难度 2/5 1-3 小时 新手友好度 85/100

    patsypppe/meridian#131 ·

    维护者通常 1 天内回复

  • Make the terminal agent's limits configurable
    未关闭
    • 哪里不对？
    area: agent enhancement good first issue size: S

    难度 2/5 1-3 小时 新手友好度 75/100

    patsypppe/meridian#130 ·

    维护者通常 1 天内回复

  • Keep the terminal agent's context bounded on long tasks
    未关闭
    • 哪里不对？
    area: agent enhancement size: M

    难度 2/5 1-3 小时 新手友好度 82/100

    patsypppe/meridian#129 ·

    维护者通常 1 天内回复

  • Give the terminal agent a file-editing tool
    未关闭
    • 哪里不对？
    area: agent enhancement size: M

    难度 3/5 1-2 天 新手友好度 75/100

    patsypppe/meridian#128 ·

    维护者通常 1 天内回复

  • Docstrings for the remaining packages, then turn the rule on
    未关闭
    • 哪里不对？
    documentation good first issue size: S

    难度 4/5 3-5 天 新手友好度 55/100

    patsypppe/meridian#127 ·

    维护者通常 1 天内回复

  • Docstrings for `grading` and `manifest`
    未关闭
    • 哪里不对？
    area: grading documentation good first issue size: S

    难度 2/5 1-3 小时 新手友好度 85/100

    patsypppe/meridian#126 ·

    维护者通常 1 天内回复

  • Docstrings for public APIs in `meridian.models`
    未关闭
    • 哪里不对？
    documentation good first issue size: S

    难度 3/5 1-2 天 新手友好度 78/100

    patsypppe/meridian#125 ·

    维护者通常 1 天内回复

  • Docstrings for public APIs in `meridian.runtime`
    未关闭
    • 哪里不对？
    area: runtime documentation good first issue size: S

    难度 3/5 1-2 天 新手友好度 76/100

    patsypppe/meridian#124 ·

    维护者通常 1 天内回复

  • Report run-to-run variance
    未关闭
    • 哪里不对？
    area: stats enhancement needs discussion size: M

    难度 5/5 一周以上 新手友好度 35/100

    patsypppe/meridian#123 ·

    维护者通常 1 天内回复

  • Detect flaky tasks across runs
    未关闭
    • 哪里不对？
    area: gate enhancement size: M

    难度 4/5 3-5 天 新手友好度 55/100

    patsypppe/meridian#121 ·

    维护者通常 1 天内回复

  • Stop a gate run early once the verdict is settled
    未关闭
    • 哪里不对？
    area: gate area: stats enhancement needs discussion size: L

    难度 5/5 一周以上 新手友好度 35/100

    patsypppe/meridian#120 ·

    维护者通常 1 天内回复

  • Correct for multiple comparisons in the gate comment
    未关闭
    • 哪里不对？
    area: gate area: stats enhancement size: M

    难度 3/5 1-2 天 新手友好度 72/100

    patsypppe/meridian#119 ·

    维护者通常 1 天内回复

  • Show a Wilson interval for each task
    未关闭
    • 哪里不对？
    area: stats enhancement good first issue size: S

    难度 3/5 1-2 天 新手友好度 72/100

    patsypppe/meridian#118 ·

    维护者通常 1 天内回复

  • Option to grade a trial's final state after a timeout
    未关闭
    • 哪里不对？
    area: grading enhancement needs discussion size: M

    难度 4/5 3-5 天 新手友好度 48/100

    patsypppe/meridian#117 ·

    维护者通常 1 天内回复

  • SQLite store for zero-setup local runs
    未关闭
    • 哪里不对？
    area: store enhancement needs discussion size: L

    难度 4/5 3-5 天 新手友好度 52/100

    patsypppe/meridian#116 ·

    维护者通常 1 天内回复

  • Simplify the `gate` command
    未关闭
    • 哪里不对？
    area: cli area: gate refactor size: S

    难度 2/5 1-3 小时 新手友好度 78/100

    patsypppe/meridian#115 ·

    维护者通常 1 天内回复

只显示最新的 100 条

这个页面只列出最近收录的部分。完整清单在高级筛选里，可以按语言、难度和预计耗时筛选。

前往高级筛选

把新 issue 发到你的邮箱

精选适合新手参与的 GitHub issue 摘要。