return version of benchmark
評価
この issue はまだ評価されていません。
説明
Could we implement this?
Benchmark.get_version() -> str
meant to replace this code:
def _get_benchmark_version(benchmark: bgym.Benchmark) -> str:
benchmark_name = benchmark.name
if hasattr(benchmark, "get_version"):
return benchmark.get_version()
# in the mean time
if benchmark_name.startswith("miniwob"):
return metadata.distribution("browsergym.miniwob").version
elif benchmark_name.startswith("workarena"):
return metadata.distribution("browsergym.workarena").version
elif benchmark_name.startswith("webarena"):
return metadata.distribution("browsergym.webarena").version
elif benchmark_name.startswith("visualwebarena"):
return metadata.distribution("browsergym.visualwebarena").version
elif benchmark_name.startswith("weblinx"):
try:
return metadata.distribution("weblinx_browsergym").version
except metadata.PackageNotFoundError:
return "0.0.1rc1"
else:
raise ValueError(f"Unknown benchmark {benchmark_name}")
- 主要言語
- Python
- スター
- 1.4k
- フォーク
- 202
- 平均マージ
- 6日 12時間
- マージ済み PR(30日)
- 2
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
ServiceNow/BrowserGym のほかの issue
-
[Feature Proposal]: Add experiment lifecycle callbacks to `ExpArgs` in `loop.py`対応中かも @sriram687 が 1 日前に担当しました。 オープン
ServiceNow/BrowserGym#417 · 担当者 1 名 ·
-
WebArena-Verified reward averages evaluator scores instead of using the benchmark's task score (partial credit for failed tasks)対応中かも @salma2vec が 5 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 32/100
ServiceNow/BrowserGym#412 ·
-
full_reset() gives no signal whether the environment was reset; skipped reset is indistinguishable from a successful one対応中かも @Tharun-Varshan-S が 7 日前に担当しました。 オープン
難易度 4/5 3〜5日 初心者へのやさしさ 38/100
ServiceNow/BrowserGym#406 · コメント 3 件 ·
-
AssistantBench scorer treats a thousands separator as a decimal point: "3,080,000" scores 0 against gold 3080000, while "1,000" scores 1.0 against gold 1対応中かも @Andiii208 が 26 日前に担当しました。 オープン
難易度 3/5 1〜2日 初心者へのやさしさ 25/100
ServiceNow/BrowserGym#404 · コメント 1 件 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 28/100
ServiceNow/BrowserGym#401 ·
ServiceNow/BrowserGym の issue をすべて見る
似ている issue
-
enhancement
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
glossyio/traffic-monitor#264 ·
メンテナーはふだん 1 日以内に返信
-
Add self-hostオープン
難易度 1/5 1時間未満 初心者へのやさしさ 75/100
Atarity/deploy-your-own-saas#102 ·
-
[Bug]: RDFlex silently drops the covariate adjustment when the outcome or treatment column is integer-typed対応中かも @vrjdev が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
DoubleML/doubleml-for-py#424 ·
メンテナーはふだん 1 日以内に返信
-
agentic-dmx docs enhancement
難易度 1/5 1〜3時間 初心者へのやさしさ 86/100
-
難易度 1/5 1時間未満 初心者へのやさしさ 72/100
521xueweihan/HelloGitHub#4150 ·