Proprietário
benchflow-ai
2 repositórios indexados · Ver no GitHub
-
skillsbench
SkillsBench evaluates how well skills work and how effective agents are at using them.
PDDL · 1830 estrelas
-
awesome-evals
A curated, non-BS library of the best resources for building and evaluating AI agents — papers, blogs, talks, tools, benchmarks. Maintain...
1024 estrelas
Issues em que talvez alguém já esteja trabalhando aparecem no fim. Ordenar tudo por data
-
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 86/100
benchflow-ai/skillsbench#1090 ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 48/100
benchflow-ai/skillsbench#1086 ·
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 68/100
benchflow-ai/skillsbench#1066 ·
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
benchflow-ai/skillsbench#1065 ·
-
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 35/100
benchflow-ai/awesome-evals#142 ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 46/100
benchflow-ai/skillsbench#1062 ·
-
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 25/100
benchflow-ai/skillsbench#1057 ·
-
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 55/100
benchflow-ai/awesome-evals#90 ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 20/100
benchflow-ai/skillsbench#1049 ·
-
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 35/100
benchflow-ai/skillsbench#1046 ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 42/100
benchflow-ai/skillsbench#1045 ·
-
Dificuldade 1/5 1-3 horas Facilidade para iniciantes 25/100
benchflow-ai/skillsbench#1041 ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 45/100
benchflow-ai/skillsbench#1019 ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 48/100
benchflow-ai/skillsbench#1020 ·
-
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 25/100
benchflow-ai/skillsbench#1023 ·
-
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 35/100
benchflow-ai/skillsbench#1004 ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 35/100
benchflow-ai/skillsbench#999 ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 48/100
benchflow-ai/skillsbench#1000 ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 43/100
benchflow-ai/skillsbench#1001 ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 45/100
benchflow-ai/skillsbench#995 ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 35/100
benchflow-ai/skillsbench#987 ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 48/100
benchflow-ai/skillsbench#988 ·
-
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 25/100
benchflow-ai/skillsbench#981 ·
-
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 35/100
benchflow-ai/skillsbench#963 · 1 comentário · 2 reações ·
-
Dificuldade 2/5 Meio dia Facilidade para iniciantes 48/100
benchflow-ai/skillsbench#945 · 2 reações ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 35/100
benchflow-ai/skillsbench#879 ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 45/100
benchflow-ai/skillsbench#865 · 1 comentário · 1 reação ·
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 50/100
benchflow-ai/skillsbench#856 · 3 comentários ·
-
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 55/100
benchflow-ai/skillsbench#836 ·
-
task
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 42/100
benchflow-ai/skillsbench#830 · 2 comentários ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 45/100
benchflow-ai/skillsbench#788 · 3 comentários ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 35/100
benchflow-ai/skillsbench#783 · 1 comentário ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 45/100
benchflow-ai/skillsbench#750 · 6 comentários ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 35/100
benchflow-ai/skillsbench#708 · 21 comentários · 1 reação ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 35/100
benchflow-ai/skillsbench#704 · 1 comentário · 1 reação ·
-
18 task verifiers grade against files the agent can overwriteTalvez já em andamento @xdotli assumiu há 12 dias. Aberta
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 15/100
benchflow-ai/skillsbench#1064 ·
-
[xlsx-recover-data] Ground truth and verifier disagree on Growth Analysis!B8 expected valueTalvez já em andamento @xdotli assumiu há 12 dias. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
benchflow-ai/skillsbench#1050 · 1 comentário ·
-
`weighted-gdp-calc`: instruction says years are in row 10, they're in row 9Talvez já em andamento @linhongyu510 assumiu há 68 dias. Aberta
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 35/100
benchflow-ai/skillsbench#1048 ·
-
`weighted-gdp-calc`: verifier CSV fallback is off by 8 rows, formula-only submissions always score 0Talvez já em andamento @linhongyu510 assumiu há 68 dias. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 35/100
benchflow-ai/skillsbench#1047 ·
-
Remove answer leakage from dapt-intrusion-detection skills and clarify detection contractTalvez já em andamento Um pull request vinculado a esta issue está aberto ou já foi mesclado. Aberta
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 45/100
benchflow-ai/skillsbench#1018 ·
-
Remove task-specific answer values from edit-pdf skillsTalvez já em andamento @xdotli assumiu há 12 dias. Aberta
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 55/100
benchflow-ai/skillsbench#1022 ·
-
Remove target-output leakage from video-silence-remover skillsTalvez já em andamento @xdotli assumiu há 12 dias. Aberta
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 47/100
benchflow-ai/skillsbench#1021 ·
-
python-scala-translation exposes a complete implementation in the agent imageTalvez já em andamento @xdotli assumiu há 12 dias. Aberta
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 48/100
benchflow-ai/skillsbench#1007 ·
-
Accept valid http.request_header in suricata-custom-exfil verifierTalvez já em andamento @xdotli assumiu há 12 dias. Aberta
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 55/100
benchflow-ai/skillsbench#1003 ·
-
Reset protected tests before grading spring-boot-jakarta-migrationTalvez já em andamento @xdotli assumiu há 12 dias. Aberta
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 35/100
benchflow-ai/skillsbench#1002 ·
-
Package shock-analysis-demand data and specify verifier layout rulesTalvez já em andamento Um pull request vinculado a esta issue está aberto ou já foi mesclado. Aberta
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 25/100
benchflow-ai/skillsbench#998 · 1 comentário ·
-
Make simpo-code-reproduction verifier dependencies installableTalvez já em andamento @xdotli assumiu há 12 dias. Aberta
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 45/100
benchflow-ai/skillsbench#994 ·
-
Clarify join semantics for sales-pivot-analysisTalvez já em andamento @xdotli assumiu há 12 dias. Aberta
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 45/100
benchflow-ai/skillsbench#996 ·
-
Align pddl-airport-planning example syntax with verifier parserTalvez já em andamento @xdotli assumiu há 12 dias. Aberta
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 53/100
benchflow-ai/skillsbench#993 ·
-
Fix seismic-phase-picking SeisBench image build on DaytonaTalvez já em andamento @xdotli assumiu há 12 dias. Aberta
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 43/100
benchflow-ai/skillsbench#990 ·