Evaluation in WA differs from the official implementation

評価

この issue はまだ評価されていません。

説明

環境構築

はじめの一歩

1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
3. リポジトリをフォークし、ブランチを切って変更します。
4. issue 番号を参照したプルリクエストを送ります。

ServiceNow/BrowserGym のほかの issue

• [Feature Proposal]: Add experiment lifecycle callbacks to `ExpArgs` in `loop.py`

  対応中かも @sriram687 が 1 日前に担当しました。 オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  ServiceNow/BrowserGym#417 · 担当者 1 名 · 2026年10月27日 に作成

• WebArena-Verified reward averages evaluator scores instead of using the benchmark's task score (partial credit for failed tasks)

  対応中かも @salma2vec が 5 日前に担当しました。 オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 2/5 1〜3時間 初心者へのやさしさ 32/100

  ServiceNow/BrowserGym#412 · 2026年10月23日 に作成

• AssistantBench scorer treats a thousands separator as a decimal point: "3,080,000" scores 0 against gold 3080000, while "1,000" scores 1.0 against gold 1

  対応中かも @Andiii208 が 27 日前に担当しました。 オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 3/5 1〜2日 初心者へのやさしさ 25/100

  ServiceNow/BrowserGym#404 · コメント 1 件 · 2026年9月23日 に作成

• Proposal: EvalPort adapter to export ExpResult data as portable eval results

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 5/5 1週間以上 初心者へのやさしさ 28/100

  ServiceNow/BrowserGym#401 · 2026年8月23日 に作成

• `miniwob.find-greatest` can be marked successful after selecting a non-maximum card

  対応中かも @jstar0 が 103 日前に担当しました。 オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 25/100

  ServiceNow/BrowserGym#392 · 2026年5月17日 に作成

ServiceNow/BrowserGym の issue をすべて見る

似ている issue

• [Feature]: add active Profile to /status (Hermes CLI Status)

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  area/profiles comp/cli P3 type/feature

  難易度 2/5 1〜3時間 初心者へのやさしさ 74/100

  NousResearch/hermes-agent#146372 · 2026年10月29日 に作成

  メンテナーはふだん 1 日以内に返信

• [BUG] OpenAI-compatible embedding model alias breaks embedder construction

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 2/5 1〜3時間 初心者へのやさしさ 65/100

  crewAIInc/crewAI#8761 · 2026年10月29日 に作成

  メンテナーはふだん 1 日以内に返信

• [oblt-aw][autodoc] Document obs-aw-automerge contract and fix automerge doc inconsistencies

  対応中かも @github-actions が今日担当しました。 オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 2/5 1〜3時間 初心者へのやさしさ 76/100

  elastic/oblt-aw#2462 · 2026年10月29日 に作成

  メンテナーはふだん 1 日以内に返信

• GeoSeries scale and skew tests fail with pytest 9.2.0

  対応中かも @jiayuasu が今日担当しました。 オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 2/5 1〜3時間 初心者へのやさしさ 82/100

  apache/sedona#3509 · 2026年10月29日 に作成

  メンテナーはふだん 1 日以内に返信

• pr-merge: enable-auto-merge drops the verdict reader's babysit-listing-miss stderr

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  admission-deferred priority: medium status: ready work-class: scoped

  難易度 2/5 1〜3時間 初心者へのやさしさ 70/100

  melodic-software/claude-code-plugins#10887 · コメント 4 件 · 2026年10月29日 に作成

  メンテナーはふだん 1 日以内に返信

Python の issue をもっと見る