Evaluation in WA differs from the official implementation

Valutazione

Questa issue non è ancora stata valutata.

Descrizione

Preparare l'ambiente

Come iniziare

1. Leggi tutta la issue e poi la guida ai contributi del progetto.
2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
3. Fai un fork del repository e lavora su un branch.
4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di ServiceNow/BrowserGym

• [Feature Proposal]: Add experiment lifecycle callbacks to `ExpArgs` in `loop.py`

  Forse già presa @sriram687 l’ha presa 2 giorni fa. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  ServiceNow/BrowserGym#417 · 1 assegnatario · Aperta il 27/10/2026

• WebArena-Verified reward averages evaluator scores instead of using the benchmark's task score (partial credit for failed tasks)

  Forse già presa @salma2vec l’ha presa 6 giorni fa. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 32/100

  ServiceNow/BrowserGym#412 · Aperta il 23/10/2026

• AssistantBench scorer treats a thousands separator as a decimal point: "3,080,000" scores 0 against gold 3080000, while "1,000" scores 1.0 against gold 1

  Forse già presa @Andiii208 l’ha presa 27 giorni fa. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 3/5 1-2 giorni Idoneità per principianti 25/100

  ServiceNow/BrowserGym#404 · 1 commento · Aperta il 23/9/2026

• Proposal: EvalPort adapter to export ExpResult data as portable eval results

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 5/5 Più di una settimana Idoneità per principianti 28/100

  ServiceNow/BrowserGym#401 · Aperta il 23/8/2026

• `miniwob.find-greatest` can be marked successful after selecting a non-maximum card

  Forse già presa @jstar0 l’ha presa 104 giorni fa. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100

  ServiceNow/BrowserGym#392 · Aperta il 17/5/2026

Tutte le issue di ServiceNow/BrowserGym

Issue simili

• Skill submission: negative-test-first (testing discipline; PR creation is collaborator-only)

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla

  Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100

  ComposioHQ/awesome-claude-skills#2398 · Aperta il 29/10/2026

  I maintainer di solito rispondono entro 2 giorni

• `fail_unsupported` has no effect unless `skip_unsupported` is disabled

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla
  bug converter

  Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100

  grafana/sigma-rule-deployment#435 · Aperta il 29/10/2026

  I maintainer di solito rispondono entro 1 giorno

• Empty list or tuple option value is written as a bare flag in generated commands

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla
  bug

  Difficoltà 2/5 1-3 ore Idoneità per principianti 73/100

  datamodel-code-generator/datamodel-code-generator#5589 · Aperta il 29/10/2026

  I maintainer di solito rispondono entro 1 giorno

• Shell: serve the home app's Cookie Policy on a hard reload

  Forse già presa @2001anshkaushik l’ha presa oggi. Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla
  feature module:ai

  Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100

  rocketride-org/rocketride-server#2899 · 1 commento · Aperta il 29/10/2026

  I maintainer di solito rispondono entro 2 giorni

• remove hard-coded v12.3 in archive py script

  Aperta

  ⋯Segnala un problema con questa issue

  • Qualcosa non va?

  • Già presa in carico
  • Non adatta ai principianti
  • Obsoleta o non valida
  • Altro…
  • Invia Annulla
  GEFSv12

  Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100

  NOAA-EMC/GEFS#199 · 2 commenti · Aperta il 29/10/2026

Altre issue su Python