オーナー
benchflow-ai
索引済みのリポジトリ 2 件 · GitHub で見る
-
skillsbench
SkillsBench evaluates how well skills work and how effective agents are at using them.
PDDL · スター 1830 個
-
awesome-evals
A curated, non-BS library of the best resources for building and evaluating AI agents — papers, blogs, talks, tools, benchmarks. Maintain...
スター 1024 個
誰かが対応中かもしれないイシューは最後に並べています。 すべて日付順に表示
-
難易度 1/5 1時間未満 初心者へのやさしさ 86/100
benchflow-ai/skillsbench#1090 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 48/100
benchflow-ai/skillsbench#1086 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
benchflow-ai/skillsbench#1066 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
benchflow-ai/skillsbench#1065 ·
-
難易度 1/5 1時間未満 初心者へのやさしさ 35/100
benchflow-ai/awesome-evals#142 ·
メンテナーはふだん 1 日以内に返信
-
難易度 4/5 3〜5日 初心者へのやさしさ 46/100
benchflow-ai/skillsbench#1062 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
benchflow-ai/skillsbench#1057 ·
-
難易度 1/5 1時間未満 初心者へのやさしさ 55/100
benchflow-ai/awesome-evals#90 ·
メンテナーはふだん 1 日以内に返信
-
難易度 1/5 1時間未満 初心者へのやさしさ 20/100
benchflow-ai/skillsbench#1049 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
benchflow-ai/skillsbench#1046 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 42/100
benchflow-ai/skillsbench#1045 ·
-
難易度 1/5 1〜3時間 初心者へのやさしさ 25/100
benchflow-ai/skillsbench#1041 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 45/100
benchflow-ai/skillsbench#1019 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 48/100
benchflow-ai/skillsbench#1020 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
benchflow-ai/skillsbench#1023 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
benchflow-ai/skillsbench#1004 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
benchflow-ai/skillsbench#999 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 48/100
benchflow-ai/skillsbench#1000 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 43/100
benchflow-ai/skillsbench#1001 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 45/100
benchflow-ai/skillsbench#995 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
benchflow-ai/skillsbench#987 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 48/100
benchflow-ai/skillsbench#988 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
benchflow-ai/skillsbench#981 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
benchflow-ai/skillsbench#963 · コメント 1 件 · リアクション 2 件 ·
-
難易度 2/5 半日 初心者へのやさしさ 48/100
benchflow-ai/skillsbench#945 · リアクション 2 件 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
benchflow-ai/skillsbench#879 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 45/100
benchflow-ai/skillsbench#865 · コメント 1 件 · リアクション 1 件 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 50/100
benchflow-ai/skillsbench#856 · コメント 3 件 ·
-
難易度 3/5 1〜2日 初心者へのやさしさ 55/100
benchflow-ai/skillsbench#836 ·
-
task
難易度 4/5 3〜5日 初心者へのやさしさ 42/100
benchflow-ai/skillsbench#830 · コメント 2 件 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 45/100
benchflow-ai/skillsbench#788 · コメント 3 件 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
benchflow-ai/skillsbench#783 · コメント 1 件 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 45/100
benchflow-ai/skillsbench#750 · コメント 6 件 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
benchflow-ai/skillsbench#708 · コメント 21 件 · リアクション 1 件 ·
-
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
benchflow-ai/skillsbench#704 · コメント 1 件 · リアクション 1 件 ·
-
18 task verifiers grade against files the agent can overwrite対応中かも @xdotli が 12 日前に担当しました。 オープン
難易度 4/5 3〜5日 初心者へのやさしさ 15/100
benchflow-ai/skillsbench#1064 ·
-
[xlsx-recover-data] Ground truth and verifier disagree on Growth Analysis!B8 expected value対応中かも @xdotli が 12 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
benchflow-ai/skillsbench#1050 · コメント 1 件 ·
-
`weighted-gdp-calc`: instruction says years are in row 10, they're in row 9対応中かも @linhongyu510 が 68 日前に担当しました。 オープン
難易度 1/5 1時間未満 初心者へのやさしさ 35/100
benchflow-ai/skillsbench#1048 ·
-
`weighted-gdp-calc`: verifier CSV fallback is off by 8 rows, formula-only submissions always score 0対応中かも @linhongyu510 が 68 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 35/100
benchflow-ai/skillsbench#1047 ·
-
Remove answer leakage from dapt-intrusion-detection skills and clarify detection contract対応中かも このイシューにリンクされたプルリクエストがオープン中、またはマージ済みです。 オープン
難易度 4/5 3〜5日 初心者へのやさしさ 45/100
benchflow-ai/skillsbench#1018 ·
-
Remove task-specific answer values from edit-pdf skills対応中かも @xdotli が 12 日前に担当しました。 オープン
難易度 3/5 1〜2日 初心者へのやさしさ 55/100
benchflow-ai/skillsbench#1022 ·
-
Remove target-output leakage from video-silence-remover skills対応中かも @xdotli が 12 日前に担当しました。 オープン
難易度 3/5 1〜2日 初心者へのやさしさ 47/100
benchflow-ai/skillsbench#1021 ·
-
python-scala-translation exposes a complete implementation in the agent image対応中かも @xdotli が 12 日前に担当しました。 オープン
難易度 4/5 3〜5日 初心者へのやさしさ 48/100
benchflow-ai/skillsbench#1007 ·
-
Accept valid http.request_header in suricata-custom-exfil verifier対応中かも @xdotli が 12 日前に担当しました。 オープン
難易度 3/5 1〜2日 初心者へのやさしさ 55/100
benchflow-ai/skillsbench#1003 ·
-
Reset protected tests before grading spring-boot-jakarta-migration対応中かも @xdotli が 12 日前に担当しました。 オープン
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
benchflow-ai/skillsbench#1002 ·
-
Package shock-analysis-demand data and specify verifier layout rules対応中かも このイシューにリンクされたプルリクエストがオープン中、またはマージ済みです。 オープン
難易度 5/5 1週間以上 初心者へのやさしさ 25/100
benchflow-ai/skillsbench#998 · コメント 1 件 ·
-
Make simpo-code-reproduction verifier dependencies installable対応中かも @xdotli が 12 日前に担当しました。 オープン
難易度 4/5 3〜5日 初心者へのやさしさ 45/100
benchflow-ai/skillsbench#994 ·
-
Clarify join semantics for sales-pivot-analysis対応中かも @xdotli が 12 日前に担当しました。 オープン
難易度 4/5 3〜5日 初心者へのやさしさ 45/100
benchflow-ai/skillsbench#996 ·
-
Align pddl-airport-planning example syntax with verifier parser対応中かも @xdotli が 12 日前に担当しました。 オープン
難易度 3/5 1〜2日 初心者へのやさしさ 53/100
benchflow-ai/skillsbench#993 ·
-
Fix seismic-phase-picking SeisBench image build on Daytona対応中かも @xdotli が 12 日前に担当しました。 オープン
難易度 4/5 3〜5日 初心者へのやさしさ 43/100
benchflow-ai/skillsbench#990 ·