Agent evaluation harness for CI. Grades from outside the container, reports pass^k instead of a mean, and tells you when the run could not have detected the regression.

patsypppe/meridian é bom para iniciantes?

Os mantenedores de patsypppe/meridian costumam responder a um pull request em até 1 dia. No momento não há nenhuma issue para iniciantes aberta; a lista abaixo mostra as outras issues que temos deste repositório.

Estrelas
0
Forks
0
Issues abertas para iniciantes
0
Issues indexadas
127
Merge médio
1h 54min
PRs com merge (30d)
14
Linguagem predominante
Python
Licença
MIT
Último push no GitHub
4/11/2026
Última indexação
4/11/2026
Guia de contribuição
Guia de contribuição
Código de conduta
Código de conduta
Labels para iniciantes
good first issue help wanted

Como contribuir com patsypppe/meridian

  1. Leia primeiro o guia de contribuição: ele explica como os mantenedores querem que as mudanças sejam propostas, testadas e revisadas.
  2. Ele tem um Dockerfile ou um arquivo Docker Compose, então você pode rodá-lo sem instalar todo o conjunto de ferramentas.
  3. Leia o código de conduta: ele vale para issues e pull requests tanto quanto para o chat.
  4. Siga o repositório para saber quando uma nova issue para iniciantes for aberta, ou veja as outras issues abaixo.
Carregando issues

Issues em que talvez alguém já esteja trabalhando aparecem no fim. Ordenar tudo por data

  • Tests wanted: start here
    Aberta
    area: tests help wanted tests

    Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 25/100

    patsypppe/meridian#166 ·

    Mantenedores costumam responder em até 1 dia

  • Integration test: a credential never reaches a trial
    Aberta
    area: security area: tests size: S tests

    Dificuldade 2/5 1-3 horas Facilidade para iniciantes 84/100

    patsypppe/meridian#165 ·

    Mantenedores costumam responder em até 1 dia

  • Integration test: grader-only files never reach the trial
    Aberta
    area: grading area: security area: tests size: M tests

    Dificuldade 3/5 1-2 dias Facilidade para iniciantes 74/100

    patsypppe/meridian#164 ·

    Mantenedores costumam responder em até 1 dia

  • Detect flaky integration tests
    Aberta
    area: ci size: S tests

    Dificuldade 3/5 1-2 dias Facilidade para iniciantes 66/100

    patsypppe/meridian#163 ·

    Mantenedores costumam responder em até 1 dia

  • Run unit tests in random order
    Aberta
    area: ci good first issue size: XS tests

    Dificuldade 3/5 1-2 dias Facilidade para iniciantes 72/100

    patsypppe/meridian#162 ·

    Mantenedores costumam responder em até 1 dia

  • Mutation testing for the statistics module
    Aberta
    area: stats area: tests help wanted size: M tests

    Dificuldade 3/5 1-2 dias Facilidade para iniciantes 67/100

    patsypppe/meridian#161 ·

    Mantenedores costumam responder em até 1 dia

  • Dashboard: accept run files with extra fields
    Aberta
    area: dashboard area: tests good first issue size: XS tests

    Dificuldade 1/5 1-3 horas Facilidade para iniciantes 88/100

    patsypppe/meridian#160 ·

    Mantenedores costumam responder em até 1 dia

  • Component tests for the dashboard's charts and comparison
    Aberta
    area: dashboard area: tests good first issue size: S tests

    Dificuldade 2/5 1-3 horas Facilidade para iniciantes 76/100

    patsypppe/meridian#159 ·

    Mantenedores costumam responder em até 1 dia

  • Tests for the dashboard's formatting helpers
    Aberta
    area: dashboard area: tests good first issue size: XS tests

    Dificuldade 2/5 1-3 horas Facilidade para iniciantes 88/100

    patsypppe/meridian#158 ·

    Mantenedores costumam responder em até 1 dia

  • Test the gate comment with harness-error causes
    Aberta
    area: gate area: tests good first issue size: S tests

    Dificuldade 1/5 1-3 horas Facilidade para iniciantes 85/100

    patsypppe/meridian#157 ·

    Mantenedores costumam responder em até 1 dia

  • Test the HTML report with harness-error causes
    Aberta
    area: tests good first issue size: S tests

    Dificuldade 2/5 1-3 horas Facilidade para iniciantes 86/100

    patsypppe/meridian#156 ·

    Mantenedores costumam responder em até 1 dia

  • Golden tests for the importer against real Harbor tasks
    Aberta
    area: importer area: tests help wanted size: M tests

    Dificuldade 3/5 1-2 dias Facilidade para iniciantes 74/100

    patsypppe/meridian#155 ·

    Mantenedores costumam responder em até 1 dia

  • More translation cases for the OpenAI-compatible proxy
    Aberta
    area: proxy area: tests good first issue size: S tests

    Dificuldade 2/5 1-3 horas Facilidade para iniciantes 88/100

    patsypppe/meridian#154 ·

    Mantenedores costumam responder em até 1 dia

  • Test the grading sandbox's command construction
    Aberta
    area: grading area: tests good first issue size: S tests

    Dificuldade 2/5 1-3 horas Facilidade para iniciantes 75/100

    patsypppe/meridian#153 ·

    Mantenedores costumam responder em até 1 dia

  • Test how the proxy container's environment is built
    Aberta
    area: proxy area: tests size: S tests

    Dificuldade 2/5 1-3 horas Facilidade para iniciantes 82/100

    patsypppe/meridian#152 ·

    Mantenedores costumam responder em até 1 dia

  • Test snapshot digest resolution
    Aberta
    area: tests good first issue size: S tests

    Dificuldade 2/5 1-3 horas Facilidade para iniciantes 88/100

    patsypppe/meridian#151 ·

    Mantenedores costumam responder em até 1 dia

  • Test that replay detects a changed input
    Aberta
    area: tests size: M tests

    Dificuldade 2/5 1-3 horas Facilidade para iniciantes 85/100

    patsypppe/meridian#150 ·

    Mantenedores costumam responder em até 1 dia

  • Round-trip test for saving and loading a run archive
    Aberta
    area: tests good first issue size: S tests

    Dificuldade 2/5 1-3 horas Facilidade para iniciantes 85/100

    patsypppe/meridian#149 ·

    Mantenedores costumam responder em até 1 dia

  • Test configuration loading and environment overrides
    Aberta
    area: tests good first issue size: S tests

    Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100

    patsypppe/meridian#148 ·

    Mantenedores costumam responder em até 1 dia

  • Unit-test the LangGraph adapter with a fake graph
    Aberta
    area: agent area: tests good first issue size: S tests

    Dificuldade 2/5 1-3 horas Facilidade para iniciantes 85/100

    patsypppe/meridian#147 ·

    Mantenedores costumam responder em até 1 dia

  • Unit-test the subprocess adapter
    Aberta
    area: tests good first issue size: S tests

    Dificuldade 2/5 1-3 horas Facilidade para iniciantes 86/100

    patsypppe/meridian#146 ·

    Mantenedores costumam responder em até 1 dia

  • Unit-test the in-container entrypoint
    Aberta
    area: runtime area: tests good first issue size: S tests

    Dificuldade 2/5 1-3 horas Facilidade para iniciantes 84/100

    patsypppe/meridian#145 ·

    Mantenedores costumam responder em até 1 dia

  • Write a threat model
    Aberta
    area: docs area: security documentation size: M

    Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100

    patsypppe/meridian#143 ·

    Mantenedores costumam responder em até 1 dia

  • Drive the showcase page's real-model section from data
    Aberta
    area: site enhancement size: S

    Dificuldade 2/5 1-3 horas Facilidade para iniciantes 76/100

    patsypppe/meridian#142 ·

    Mantenedores costumam responder em até 1 dia

  • Remember the last loaded run
    Aberta
    area: dashboard enhancement good first issue size: XS

    Dificuldade 2/5 1-3 horas Facilidade para iniciantes 82/100

    patsypppe/meridian#141 ·

    Mantenedores costumam responder em até 1 dia

  • Light/dark toggle in the dashboard
    Aberta
    area: dashboard enhancement good first issue size: S

    Dificuldade 3/5 1-2 dias Facilidade para iniciantes 67/100

    patsypppe/meridian#140 ·

    Mantenedores costumam responder em até 1 dia

  • Highlight the drop zone while dragging a file
    Aberta
    accessibility area: dashboard enhancement good first issue size: XS

    Dificuldade 2/5 1-3 horas Facilidade para iniciantes 85/100

    patsypppe/meridian#139 ·

    Mantenedores costumam responder em até 1 dia

  • Add an error boundary to the dashboard
    Aberta
    area: dashboard enhancement good first issue size: XS

    Dificuldade 2/5 1-3 horas Facilidade para iniciantes 82/100

    patsypppe/meridian#138 ·

    Mantenedores costumam responder em até 1 dia

  • Add ESLint and Prettier to the dashboard
    Aberta
    area: ci area: dashboard enhancement good first issue size: S

    Dificuldade 3/5 1-2 dias Facilidade para iniciantes 75/100

    patsypppe/meridian#137 ·

    Mantenedores costumam responder em até 1 dia

  • Paired significance test in the comparison view
    Aberta
    area: dashboard area: stats enhancement size: M

    Dificuldade 4/5 3-5 dias Facilidade para iniciantes 55/100

    patsypppe/meridian#136 ·

    Mantenedores costumam responder em até 1 dia

  • Export the task table and comparison
    Aberta
    area: dashboard enhancement good first issue size: S

    Dificuldade 2/5 1-3 horas Facilidade para iniciantes 84/100

    patsypppe/meridian#135 ·

    Mantenedores costumam responder em até 1 dia

  • Show efficiency numbers per task
    Aberta
    area: dashboard enhancement good first issue size: S

    Dificuldade 2/5 1-3 horas Facilidade para iniciantes 85/100

    patsypppe/meridian#134 ·

    Mantenedores costumam responder em até 1 dia

  • Show a trial's details when you click it
    Aberta
    area: dashboard enhancement size: M

    Dificuldade 2/5 1-3 horas Facilidade para iniciantes 84/100

    patsypppe/meridian#133 ·

    Mantenedores costumam responder em até 1 dia

  • Load a run in the dashboard from a URL
    Aberta
    area: dashboard enhancement good first issue size: S

    Dificuldade 3/5 1-2 dias Facilidade para iniciantes 72/100

    patsypppe/meridian#132 ·

    Mantenedores costumam responder em até 1 dia

  • Recover efficiency numbers for timed-out trials
    Aberta
    area: agent area: runtime enhancement size: S

    Dificuldade 2/5 1-3 horas Facilidade para iniciantes 85/100

    patsypppe/meridian#131 ·

    Mantenedores costumam responder em até 1 dia

  • Make the terminal agent's limits configurable
    Aberta
    area: agent enhancement good first issue size: S

    Dificuldade 2/5 1-3 horas Facilidade para iniciantes 75/100

    patsypppe/meridian#130 ·

    Mantenedores costumam responder em até 1 dia

  • Keep the terminal agent's context bounded on long tasks
    Aberta
    area: agent enhancement size: M

    Dificuldade 2/5 1-3 horas Facilidade para iniciantes 82/100

    patsypppe/meridian#129 ·

    Mantenedores costumam responder em até 1 dia

  • Give the terminal agent a file-editing tool
    Aberta
    area: agent enhancement size: M

    Dificuldade 3/5 1-2 dias Facilidade para iniciantes 75/100

    patsypppe/meridian#128 ·

    Mantenedores costumam responder em até 1 dia

  • Docstrings for the remaining packages, then turn the rule on
    Aberta
    documentation good first issue size: S

    Dificuldade 4/5 3-5 dias Facilidade para iniciantes 55/100

    patsypppe/meridian#127 ·

    Mantenedores costumam responder em até 1 dia

  • Docstrings for `grading` and `manifest`
    Aberta
    area: grading documentation good first issue size: S

    Dificuldade 2/5 1-3 horas Facilidade para iniciantes 85/100

    patsypppe/meridian#126 ·

    Mantenedores costumam responder em até 1 dia

  • Docstrings for public APIs in `meridian.models`
    Aberta
    documentation good first issue size: S

    Dificuldade 3/5 1-2 dias Facilidade para iniciantes 78/100

    patsypppe/meridian#125 ·

    Mantenedores costumam responder em até 1 dia

  • Docstrings for public APIs in `meridian.runtime`
    Aberta
    area: runtime documentation good first issue size: S

    Dificuldade 3/5 1-2 dias Facilidade para iniciantes 76/100

    patsypppe/meridian#124 ·

    Mantenedores costumam responder em até 1 dia

  • Report run-to-run variance
    Aberta
    area: stats enhancement needs discussion size: M

    Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 35/100

    patsypppe/meridian#123 ·

    Mantenedores costumam responder em até 1 dia

  • Detect flaky tasks across runs
    Aberta
    area: gate enhancement size: M

    Dificuldade 4/5 3-5 dias Facilidade para iniciantes 55/100

    patsypppe/meridian#121 ·

    Mantenedores costumam responder em até 1 dia

  • Stop a gate run early once the verdict is settled
    Aberta
    area: gate area: stats enhancement needs discussion size: L

    Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 35/100

    patsypppe/meridian#120 ·

    Mantenedores costumam responder em até 1 dia

  • Correct for multiple comparisons in the gate comment
    Aberta
    area: gate area: stats enhancement size: M

    Dificuldade 3/5 1-2 dias Facilidade para iniciantes 72/100

    patsypppe/meridian#119 ·

    Mantenedores costumam responder em até 1 dia

  • Show a Wilson interval for each task
    Aberta
    area: stats enhancement good first issue size: S

    Dificuldade 3/5 1-2 dias Facilidade para iniciantes 72/100

    patsypppe/meridian#118 ·

    Mantenedores costumam responder em até 1 dia

  • Option to grade a trial's final state after a timeout
    Aberta
    area: grading enhancement needs discussion size: M

    Dificuldade 4/5 3-5 dias Facilidade para iniciantes 48/100

    patsypppe/meridian#117 ·

    Mantenedores costumam responder em até 1 dia

  • SQLite store for zero-setup local runs
    Aberta
    area: store enhancement needs discussion size: L

    Dificuldade 4/5 3-5 dias Facilidade para iniciantes 52/100

    patsypppe/meridian#116 ·

    Mantenedores costumam responder em até 1 dia

  • Simplify the `gate` command
    Aberta
    area: cli area: gate refactor size: S

    Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100

    patsypppe/meridian#115 ·

    Mantenedores costumam responder em até 1 dia

Mostrando os 100 mais recentes

Esta página lista apenas o que foi indexado mais recentemente. O filtro avançado tem o inventário completo, refinado por linguagem, dificuldade e duração.

Abrir o filtro avançado

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.