Owner
benchflow-ai
2 indexierte Repositories · Auf GitHub ansehen
-
skillsbench
SkillsBench evaluates how well skills work and how effective agents are at using them.
PDDL · 1830 Sterne
-
awesome-evals
A curated, non-BS library of the best resources for building and evaluating AI agents — papers, blogs, talks, tools, benchmarks. Maintain...
1024 Sterne
Issues, an denen vielleicht schon jemand arbeitet, stehen am Ende. Alles nach Datum anzeigen
-
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 86/100
benchflow-ai/skillsbench#1090 ·
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 48/100
benchflow-ai/skillsbench#1086 ·
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100
benchflow-ai/skillsbench#1066 ·
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
benchflow-ai/skillsbench#1065 ·
-
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 35/100
benchflow-ai/awesome-evals#142 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 46/100
benchflow-ai/skillsbench#1062 ·
-
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 25/100
benchflow-ai/skillsbench#1057 ·
-
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 55/100
benchflow-ai/awesome-evals#90 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 20/100
benchflow-ai/skillsbench#1049 ·
-
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 35/100
benchflow-ai/skillsbench#1046 ·
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 42/100
benchflow-ai/skillsbench#1045 ·
-
Schwierigkeit 1/5 1-3 Stunden Anfängerfreundlichkeit 25/100
benchflow-ai/skillsbench#1041 ·
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 45/100
benchflow-ai/skillsbench#1019 ·
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 48/100
benchflow-ai/skillsbench#1020 ·
-
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 25/100
benchflow-ai/skillsbench#1023 ·
-
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 35/100
benchflow-ai/skillsbench#1004 ·
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 35/100
benchflow-ai/skillsbench#999 ·
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 48/100
benchflow-ai/skillsbench#1000 ·
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 43/100
benchflow-ai/skillsbench#1001 ·
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 45/100
benchflow-ai/skillsbench#995 ·
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 35/100
benchflow-ai/skillsbench#987 ·
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 48/100
benchflow-ai/skillsbench#988 ·
-
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 25/100
benchflow-ai/skillsbench#981 ·
-
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 35/100
benchflow-ai/skillsbench#963 · 1 Kommentar · 2 Reaktionen ·
-
Schwierigkeit 2/5 Ein halber Tag Anfängerfreundlichkeit 48/100
benchflow-ai/skillsbench#945 · 2 Reaktionen ·
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 35/100
benchflow-ai/skillsbench#879 ·
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 45/100
benchflow-ai/skillsbench#865 · 1 Kommentar · 1 Reaktion ·
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 50/100
benchflow-ai/skillsbench#856 · 3 Kommentare ·
-
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 55/100
benchflow-ai/skillsbench#836 ·
-
task
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 42/100
benchflow-ai/skillsbench#830 · 2 Kommentare ·
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 45/100
benchflow-ai/skillsbench#788 · 3 Kommentare ·
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 35/100
benchflow-ai/skillsbench#783 · 1 Kommentar ·
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 45/100
benchflow-ai/skillsbench#750 · 6 Kommentare ·
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 35/100
benchflow-ai/skillsbench#708 · 21 Kommentare · 1 Reaktion ·
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 35/100
benchflow-ai/skillsbench#704 · 1 Kommentar · 1 Reaktion ·
-
18 task verifiers grade against files the agent can overwriteEvtl. vergeben @xdotli hat das vor 12 Tagen übernommen. Offen
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 15/100
benchflow-ai/skillsbench#1064 ·
-
[xlsx-recover-data] Ground truth and verifier disagree on Growth Analysis!B8 expected valueEvtl. vergeben @xdotli hat das vor 12 Tagen übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
benchflow-ai/skillsbench#1050 · 1 Kommentar ·
-
`weighted-gdp-calc`: instruction says years are in row 10, they're in row 9Evtl. vergeben @linhongyu510 hat das vor 68 Tagen übernommen. Offen
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 35/100
benchflow-ai/skillsbench#1048 ·
-
`weighted-gdp-calc`: verifier CSV fallback is off by 8 rows, formula-only submissions always score 0Evtl. vergeben @linhongyu510 hat das vor 68 Tagen übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 35/100
benchflow-ai/skillsbench#1047 ·
-
Remove answer leakage from dapt-intrusion-detection skills and clarify detection contractEvtl. vergeben Ein verknüpfter Pull Request ist offen oder bereits gemergt. Offen
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 45/100
benchflow-ai/skillsbench#1018 ·
-
Remove task-specific answer values from edit-pdf skillsEvtl. vergeben @xdotli hat das vor 12 Tagen übernommen. Offen
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 55/100
benchflow-ai/skillsbench#1022 ·
-
Remove target-output leakage from video-silence-remover skillsEvtl. vergeben @xdotli hat das vor 12 Tagen übernommen. Offen
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 47/100
benchflow-ai/skillsbench#1021 ·
-
python-scala-translation exposes a complete implementation in the agent imageEvtl. vergeben @xdotli hat das vor 12 Tagen übernommen. Offen
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 48/100
benchflow-ai/skillsbench#1007 ·
-
Accept valid http.request_header in suricata-custom-exfil verifierEvtl. vergeben @xdotli hat das vor 12 Tagen übernommen. Offen
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 55/100
benchflow-ai/skillsbench#1003 ·
-
Reset protected tests before grading spring-boot-jakarta-migrationEvtl. vergeben @xdotli hat das vor 12 Tagen übernommen. Offen
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 35/100
benchflow-ai/skillsbench#1002 ·
-
Package shock-analysis-demand data and specify verifier layout rulesEvtl. vergeben Ein verknüpfter Pull Request ist offen oder bereits gemergt. Offen
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 25/100
benchflow-ai/skillsbench#998 · 1 Kommentar ·
-
Make simpo-code-reproduction verifier dependencies installableEvtl. vergeben @xdotli hat das vor 12 Tagen übernommen. Offen
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 45/100
benchflow-ai/skillsbench#994 ·
-
Clarify join semantics for sales-pivot-analysisEvtl. vergeben @xdotli hat das vor 12 Tagen übernommen. Offen
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 45/100
benchflow-ai/skillsbench#996 ·
-
Align pddl-airport-planning example syntax with verifier parserEvtl. vergeben @xdotli hat das vor 12 Tagen übernommen. Offen
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 53/100
benchflow-ai/skillsbench#993 ·
-
Fix seismic-phase-picking SeisBench image build on DaytonaEvtl. vergeben @xdotli hat das vor 12 Tagen übernommen. Offen
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 43/100
benchflow-ai/skillsbench#990 ·