Add LinCE Testbed to Full Benchmark

評価

調査の方向性

説明

環境構築

はじめの一歩

1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
3. リポジトリをフォークし、ブランチを切って変更します。
4. issue 番号を参照したプルリクエストを送ります。

bigscience-workshop/evaluation のほかの issue

• Add MKQA to Full Benchmark

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 4/5 3〜5日 初心者へのやさしさ 25/100

  bigscience-workshop/evaluation#73 · 2022年2月7日 に作成

• Refactor task template to merge multilingual.json and english.json

  再び着手できるかも @wilsonyhlee が 1863 日前に担当しましたが、オープン中のプルリクエストはありません。 オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  bigscience-workshop/evaluation#64 · 担当者 1 名 · 2021年9月2日 に作成

• Wrap evaluation benchmark using HF-trainer

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 5/5 1週間以上 初心者へのやさしさ 20/100

  bigscience-workshop/evaluation#61 · コメント 2 件 · リアクション 3 件 · 2021年8月25日 に作成

• Setup testing

  再び着手できるかも @tttyuntian が 1879 日前に担当しましたが、オープン中のプルリクエストはありません。 オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  engineering

  bigscience-workshop/evaluation#57 · コメント 2 件 · 担当者 3 名 · 2021年8月19日 に作成

• Start overleaf for benchmark tech report

  再び着手できるかも @arunraja-hub が 1875 日前に担当しましたが、オープン中のプルリクエストはありません。 オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  documentation

  bigscience-workshop/evaluation#54 · コメント 1 件 · リアクション 3 件 · 担当者 2 名 · 2021年8月16日 に作成

bigscience-workshop/evaluation の issue をすべて見る

似ている issue

• [BUG] Container scenario crashes without expected_recovery_time, kube DNS example uses retry_wait

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  needs-triage

  難易度 2/5 1〜3時間 初心者へのやさしさ 77/100

  krkn-chaos/krkn#1627 · コメント 1 件 · 2026年10月11日 に作成

  メンテナーはふだん 1 日以内に返信

• [Bug]: Desktop catalog deep links (hermes://plugin/install?catalog=…) all fail — plugins.json fetch blocked by a 301 without CORS

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 2/5 1〜3時間 初心者へのやさしさ 72/100

  NousResearch/hermes-agent#136483 · 2026年10月11日 に作成

  メンテナーはふだん 1 日以内に返信

• BM25SearchStrategy (the default) never matches underscore-joined terms in tool descriptions or param descriptions

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 1/5 1時間未満 初心者へのやさしさ 88/100

  livekit/agents#7727 · 2026年10月11日 に作成

  メンテナーはふだん 1 日以内に返信

• [BUG] LazyStackedTensorDictStore zeroes the last byte of a new key set on the last element

  対応中かも @peterdsharpe が今日担当しました。 オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル
  bug

  難易度 2/5 1〜3時間 初心者へのやさしさ 78/100

  pytorch/tensordict#2307 · 2026年10月11日 に作成

  メンテナーはふだん 1 日以内に返信

• [BUG] MCPClient silently drops empty [] and {} tool arguments (and list items that clean to empty) before they reach the MCP server

  オープン

  ⋯この Issue の問題を報告

  • 何か問題がありますか？

  • すでに着手されている
  • 初心者向けではない
  • 古い・無効
  • その他…
  • 送信 キャンセル

  難易度 2/5 1〜3時間 初心者へのやさしさ 78/100

  crewAIInc/crewAI#8045 · 2026年10月11日 に作成

  メンテナーはふだん 1 日以内に返信

Python の issue をもっと見る